Archivo de la categoría: Evaluación

Dudas frecuentes sobre evaluación online

Tras la experiencia acumulada en las primeras evaluaciones online realizadas este curso, la UPV ha puesto a disposición del profesorado una serie de recursos para facilitar su labor y aclarar dudas acerca de la manera adecuada de realizar dichas evaluaciones.

La página contiene directrices para la evaluación a distancia, recomendaciones para realizar exámenes orales, incidencia de los aspectos de protección de datos en la evaluación a distancia, indicaciones para la gestión de trabajos y exámenes y diversos recursos de información adicionales:

https://virtual.blogs.upv.es/evaluacion

La UPV cuenta también con un wiki con entradas recientes en relación a la evaluación online como recomendaciones técnicas para realización de exámenes en PoliformaT o para la custodia de grabaciones de actos de evaluación.

De manera adicional, y a partir de consultas realizadas por parte del profesorado de la ETSII, se han recopilado las siguientes dudas frecuentes y sus respuestas.

Control de autoría con grabación de vídeo/voz

Como resultado del diseño global de una prueba de evaluación, el profesorado puede considerar obligatorio el visionado remoto y verificación de la identidad del alumno/a o la grabación y posterior visionado del acto de evaluación (siempre mediante los programas o aplicativos previstos por la Universidad, pero sin poder establecerse la obligación de utilizar un terminal u otro). La instrucción del VECA sobre pruebas de evaluación online, entre otros, establece que se debe informar:

  • Que la prueba requiere grabar imagen y/o voz.
  • De las condiciones que debe reunir el espacio dedicado a realizar la prueba.
  • Del carácter obligatorio de la captación o grabación de imágenes y de las consecuencias de la negativa.

Entre las consecuencias de la negativa se puede establecer la realización de un examen oral on-line sustitutorio.

La verificación de identidad de puede realizar mostrándose el alumno/a y/o su documento de identificación y/o el espacio de trabajo a la cámara. Esta verificación se podrá establecer al inicio y/o al final y/o durante la propia prueba.

Ajuste de la duración del examen

Algunas de las incidencias de conductas deshonestas que se han comunicado en relación a la evaluación están relacionadas con la duración del examen on-line. En este sentido es importante buscar un equilibrio entre una duración corta que fuerce a los examinados a centrarse en su propio examen y una excesivamente larga que permita contestar todas las preguntas, pero deje también tiempo de sobra para dedicarlo a conductas fraudulentas. En general se recomienda ajustar la duración del examen al tiempo necesario para realizarlo y, si se considera adecuado, incluir alguna cuestión adicional que haga que el examen puntúe sobre un valor superior a 10 de manera que todos los alumnos estén trabajando durante la duración del examen.

Diseño de las pruebas objetivas y ajuste del valor negativo de las respuestas incorrectas

En pruebas objetivas, parece haberse comprobado que la tipología de examen lineal (sin acceso a las preguntas previas) junto con una cierta variación de las preguntas de un examinado a otro (aleatorización de preguntas a través de baterías, preguntas calculadas, preguntas de opción múltiple aleatorizadas…) es la que más dificulta las conductas fraudulentas.

En este caso de configuración lineal, puede ser conveniente analizar el examen y elegir un valor negativo de las respuestas falsas distinto del estándar ( -1/(n-1) dónde n es el número de opciones. La justificación de ese cambio se basa en el incremento de dificultad respecto al examen típico en que los examinados pueden elegir el riesgo que asumen contestado preguntas en las que dudan teniendo en cuenta el conjunto del examen, lo que no es posible en un examen lineal.

Corrección automática de preguntas calculadas por la aplicación Exámenes de PoliformaT

En preguntas calculadas con varios campos a rellenar por los alumnos, en ocasiones la herramienta Exámenes de PoliformaT no puntúa de manera adecuada la pregunta cuando sólo se contestan correctamente algunos de los campos. Por ejemplo, una pregunta calculada con un valor de 1 punto y 5 apartados, debería computarle a un alumno que ha acertado 4 de los 5 apartados 0,8 puntos (es decir, 4*0,2). Sin embargo, en algunos casos, la herramienta puntuaba esta pregunta con 0 puntos.

Aunque el ASIC está intentando solucionar el problema, si detectáis este comportamiento la forma de proceder es contactar con el ASIC para que os informen sobre qué pasos llevar a cabo. Parece que es posible recalcular las preguntas y conseguir puntuaciones correctas.

Problemas conocidos de realización de exámenes en PoliformaT y posibles soluciones

Tras la primera ronda de exámenes utilizando PoliformaT, se han identificado algunos de los problemas que pueden surgir durante la realización de los mismos. Algunos de dichos problemas se detallan a continuación y se ofrecen posibles soluciones a los mismos:

Retraso en la autenticación de alumnos en los servidores de examen. En alguna situación los servidores de exámenes pueden verse saturados con muchas peticiones de acceso y retrasar el inicio del examen de algunos alumnos.

Posibles soluciones:

  1. Dejar un margen prudencial de tiempo para el acceso al examen de forma que el intervalo de disponibilidad cubra suficientemente ese margen más el tiempo necesario para cumplimentar el examen. Desgraciadamente, ese margen de tiempo no debe ser excesivo para evitar que un alumno haga fraudulentamente 2 exámenes, el propio y el de un compañero.
  2. Retrasar el tiempo de entrega del examen ya publicado si se han detectado problemas de acceso. En un examen que está publicado (activo) se puede cambiar la hora límite de entrega y de aceptación de envíos para dar tiempo suficiente a los alumnos que accedieron tarde y desde el principio el temporizador les marcaba un tiempo de entrega inferior la duración de examen anunciada. Si se retrasa el límite de entrega y de aceptación, hay que avisar que los alumnos que accedieron con retraso deben salir del examen (basta con que pinchen en la herramienta exámenes) y vuelvan a acceder al mismo examen: tras esto podrán comprobar que el temporizador de tiempo restante se ha actualizado a su favor. Lo que no tiene efecto y no se debe hacer en esta situación es cambiar la duración del examen, ya que eso sólo es efectivo para los alumnos que no han podido empezar el examen.
  3. Si se dan incidencias en el acceso que resultan en una duración efectiva del examen reducida, decir al alumno que entregue inmediatamente el examen y que acceda de nuevo (si el examen tiene preguntas aleatorizadas, ver punto siguiente para que acceda a la misma versión del examen).

Dificultad de acceso a PoliformaT.

Posibles soluciones:

  1. Si se detectan problemas en el acceso a PoliformaT, se ha comprobado que hacerlo dentro de una conexión VPN a la UPV puede evitar algunos problemas.
  2. Si los problemas los puede causar el acceso a red mediante ADSL o Fibra del alumno, se puede sugerir utilizar la conexión compartida de un terminal móvil.

En exámenes con preguntas aleatorizadas el examen del alumno cambia si, por haber tenido una incidencia, se le autoriza a entrar de nuevo al examen.

Posible solución

  1. En EDICIÓN del examen, configurarlo para que se aleatorice una vez para cada alumno, no cada vez que un alumno haga el examen.

Las fórmulas en el enunciado de las preguntas que no se muestran de forma adecuada a algunos alumnos.

Posible solución:

  1. Evitar fórmulas en LATEX en los enunciados de las preguntas, ya que pueden dar problemas en algunos navegadores o con algunas versiones de S.O. Si se han de incluir fórmulas la opción más segura es incluirlas en un PDF anexo al enunciado de la pregunta o del examen.

El acceso al examen desde la agenda o por enlace directo puede dar problemas de acceso.

Posible solución:

  1. Utilizar el acceso al examen exclusivamente mediante el menú de exámenes de PoliformaT. En concreto, evitar publicar el examen en la agenda (desde la que se podría acceder o enviar accesos directos al examen para acceder a él.

Cómo crear exámenes online en PoliformaT

En esta entrada os presentamos cómo crear exámenes en PoliformaT. Lo cierto es que el portal de la UPV, basado en la plataforma Sakai, tiene muchísimas opciones a la hora de preparar exámenes. La UPV cuenta con muchos videos que detallan cómo hacerlo, e incluso un curso online para realización de exámenes en PoliformaT:

Los siguientes vídeos intentan organizar la información de manera más enfocada a la realización de los exámenes online durante este curso.

1. Creación de diferentes versiones de un mismo Examen en PoliformaT

 

2. Veracidad de un Examen de PoliformaT

3. Vista previa y Configuración de un Examen de PoliformaT

4. Antes de publicar un Examen de PoliformaT

5. Revisión de Exámenes de PoliformaT