Machine Translated by Google

Gamage  et  al.  Revista  Internacional  de  Educación  STEM  https:// (2019)  6:27
doi.org/10.1186/s40594­019­0181­4
Revista  Internacional  de
Educación  STEM

SHOR  T  R  EPOR  T    Acceso  abierto

Optimización  de  cuestionarios  de  Moodle  para  en  línea
evaluaciones
Sithara  HPW  Gamage1* ,  Monica  B.  Behrend2  y  Elizabeth  J.  Smith1  Jennifer  R.  Ayres1 ,

Abstracto

Antecedentes:  los  sistemas  de  gestión  del  aprendizaje  asistidos  por  computadora  (LMS)  se  utilizan  ampliamente  en  la  educación  superior  y  se  consideran  
beneficiosos  cuando  se  pasa  de  la  enseñanza  presencial  convencional  a  cursos  completamente  en  línea.  Si  bien  los  LMS  tienen  herramientas  únicas  para  
transferir  y  evaluar  conocimientos,  su  capacidad  para  involucrar  y  evaluar  a  los  estudiantes  necesita  más  investigación.  Este  documento  se  centra  
en  un  estudio  que  examina  el  LMS  "Moodle"  para  determinar  la  eficacia  de  los  "cuestionarios  de  Moodle"  para  mejorar,  evaluar  y  distinguir  el  conocimiento  
en  un  curso  de  ingeniería  civil  en  una  universidad  australiana.  El  curso  tiene  una  base  de  datos  que  comprende  62  preguntas  formativas  y  61  
preguntas  sumativas  con  texto,  imágenes,  audio  y  video  incrustados.  Este  estudio  investiga  el  uso  de  estas  preguntas  de  prueba  con  cuatro  cohortes  de  
curso  y  169  estudiantes.  Los  cuestionarios  evaluaron  las  competencias  de  los  estudiantes  durante  varias  etapas  de  un  período  de  estudio  a  través  de  la  
calificación  automatizada.  La  idoneidad  de  las  preguntas  para  evaluar  y  distinguir  los  niveles  de  conocimiento  de  los  estudiantes  se  determinó  
mediante  un  análisis  psicométrico  basado  en  el  índice  de  facilidad  (FI)  y  las  estadísticas  del  índice  de  discriminación  (DI)  integradas  en  los  cuestionarios  de  
Moodle.

Resultados:  este  estudio  destaca  las  estrategias  utilizadas  para  establecer  y  revisar  las  preguntas  del  cuestionario  para  evaluaciones  formativas  y  sumativas.
Los  resultados  indicaron  que  los  estudiantes  estaban  comprometidos  y  satisfechos  con  la  evaluación  formativa  porque  vieron  los  videos  interactivos  entre  
2  y  6  veces  y  el  65  %  de  los  estudiantes  respondieron  todas  las  preguntas  formativas.
El  FI  indicó  la  tasa  de  aprobación  de  los  estudiantes  para  las  preguntas  sumativas  y  el  DI  indicó  la  dificultad  de  estas  preguntas,  mientras  que  la  
combinación  de  los  resultados  de  FI  y  DI  separó  a  los  estudiantes  con  diferentes  niveles  de  conocimiento.
El  uso  de  estas  estadísticas  de  Moodle  proporcionó  información  para  tomar  decisiones  efectivas  sobre  cómo  mejorar  las  pruebas  sumativas.

Conclusión:  Los  cuestionarios  multimodales  fueron  efectivos  para  enseñar  y  evaluar  un  curso  teórico  de  ingeniería  y  proporcionaron  métodos  eficientes  
para  reemplazar  las  evaluaciones  convencionales.  Los  índices  FI  y  DI  son  herramientas  estadísticas  útiles  para  rediseñar  conjuntos  de  preguntas  
apropiados.  Los  académicos  con  poco  tiempo  se  beneficiarán  del  uso  de  estas  estadísticas  de  Moodle  fáciles  de  obtener  para  informar  las  decisiones  
mientras  revisan  las  pruebas  y  hacen  que  las  evaluaciones  sean  más  autónomas.

Palabras  clave:  enseñanza  en  línea,  evaluaciones  en  línea,  Moodle,  cuestionarios  en  línea,  análisis  psicométrico,  índice  de  facilidad,
Índice  de  discriminación

Introducción  El   los  materiales  del  curso  pueden  seguir  siendo  un  desafío  (Jackson,  2017).
crecimiento  del  aprendizaje  en  línea  en  las  últimas  décadas  ha  dado   Las  nuevas  tecnologías  y  las  metodologías  de  diseño  educativo  redefinen  
como  resultado  que  los  institutos  de  educación  superior  ofrezcan  más   continuamente  el  papel  de  los  profesionales  (Philip  sen,  Tondeur,  Roblin,  
cursos  en  línea  con  hasta  el  30  %  de  los  estudiantes  universitarios  y   Vanslambrouck  y  Zhu,  2019),  por  lo  tanto,  los  institutos  educativos  deben  
universitarios  estadounidenses  participando  en  al  menos  un  curso  en   garantizar  que  las  necesidades  educativas  de  esos  profesionales  sigan  

línea  (Broadbent  &  Fuller­Tyszkiewicz,  2018;  Liagkou  &  Stylios,  2018).  A   siendo  una  preocupación  principal.  Una  de  las  principales  preocupaciones  
pesar  de  los  avances  tecnológicos  significativos  en  las  herramientas  de   a  las  que  se  enfrentan  los  educadores  es  identificar  la  tecnología  adecuada  
educación  en  línea,  el  desarrollo  en  línea para  desarrollar  materiales  de  cursos  en  línea  para  varias  disciplinas  
(Salamon,  Ali,  Miskon  y  Ahmad,  2016),  ya  que  los  requisitos  para  los  
*  Correspondencia:  sithara.walpitagamage@unisa.edu.au   recursos  digitales  pueden  variar  significativamente  entre  las  diferentes  
1
Escuela  de  Entornos  Naturales  y  Construidos,  Universidad  de  Australia  Meridional, disciplinas  (Martins,  2017;  Sancho­Vinuesa,  Masià,  Fuertes­Alpiste,  &
Campus  de  Mawson  Lakes,  Mawson  Lakes,  SA  5095,  Australia
La  lista  completa  de  información  del  autor  está  disponible  al  final  del  artículo.

©  El(los)  autor(es).  2019  Acceso  abierto  Este  artículo  se  distribuye  bajo  los  términos  de  la  licencia  internacional  Creative  
Commons  Attribution  4.0  (http://creativecommons.org/licenses/by/4.0/),  que  permite  el  uso,  la  distribución  y  la  reproducción  
sin  restricciones  en  cualquier  medio,  siempre  que  otorgue  el  crédito  correspondiente  al  autor  o  autores  originales  y  la  fuente,  
proporcione  un  enlace  a  la  licencia  Creative  Commons  e  indique  si  se  realizaron  cambios.
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  2  de  14

Molas­Castells,  2018).  Además  de  aprender  y  adaptarse  a  las   representado  por  una  fórmula  matemática.  Este  proceso  puede  
nuevas  tecnologías,  los  educadores  enfrentan  desafíos  en  el   ser  un  desafío,  pero  puede  abordarse  mediante  el  uso  de  
desarrollo  de  recursos  que  atraerán  con  éxito  a  los  usuarios  en   explicaciones  de  problemas  mejoradas  en  video  y  comentarios  
línea,  trabajando  con  los  diferentes  niveles  de  conocimiento  de   en  forma  de  cuestionarios  en  línea  (West  &  Turner,  2016).  Los  
los  estudiantes  y  evaluando  los  objetivos  del  curso  requeridos,   cuestionarios  con  videos  interactivos  mejoran  el  desempeño  de  
todo  mientras  mantienen  la  calidad  de  los  graduados  de  un  instituto. los  estudiantes  y  les  brindan  la  oportunidad  de  ver  ejemplos  y  
Hay  varios  sistemas  de  gestión  del  aprendizaje  (LMS)  y   analizar  escenarios  (Heo  &  Chow,  2005;  Maarek,  2018).
herramientas  disponibles  para  desarrollar  recursos  digitales  para   Un  beneficio  de  las  pruebas  en  línea  es  que  la  retroalimentación  puede  ser

cursos  que  anteriormente  se  basaban  únicamente  en  la   automática  y  oportuna,  brindando  a  los  estudiantes  
enseñanza  presencial  tradicional.  La  investigación  ha  identificado   retroalimentación  inmediata  sobre  su  aprendizaje  con  
a  Moodle  como  una  plataforma  completa  y  adecuada  para  la   oportunidades  para  mejorar  su  comprensión.  La  investigación  
implementación  en  la  educación  superior  (Aydin  &  Tirkes,  2010;   sobre  los  resultados  de  la  retroalimentación  instantánea  para  las  
Williams  van  Rooij,  2012).  Moodle  proporciona  diferentes   pruebas  dentro  de  una  variedad  de  cursos  de  enseñanza  informó  
herramientas  fáciles  de  usar,  como  "cuestionarios",  "foros",   que  la  retroalimentación  instantánea  abre  nuevas  vías  de  
"bases  de  datos"  y  "talleres"  para  desarrollar  varios  recursos   comunicación  entre  educadores  y  estudiantes  (Rinaldi,  Lorr  y  
digitales  con  fines  de  enseñanza  y  evaluación.  Se  ve  como  un   Williams,  2017) .  La  retroalimentación  inmediata  es  útil  para  los  
modo  de  instrucción  de  mejores  prácticas  y  que  los  estudiantes   estudiantes  que  podrían  tener  dificultades  para  comprender  el  
que  no  participan  en  el  aprendizaje  combinado  están  en  desventaja   tema  o  que  son  reacios  a  hacer  preguntas  en  un  entorno  de  clase  
académica  (Francis  &  Shannon,  2013). convencional.  La  retroalimentación  instantánea  también  
Moodle  se  clasificó  entre  los  20  mejores  LMS  según  las   proporciona  una  instantánea  rápida  de  la  comprensión  del  tema  
experiencias  de  los  usuarios  en  2018  y  2019  (Andre,  2019;   por  parte  de  la  cohorte.  Numerosos  estudios  identifican  que  la  
eLearning  Industry,  2018). retroalimentación  instantánea  reconoce  el  nivel  de  comprensión  
Se  han  implementado  cuestionarios  en  línea  en  LMS  para   de  los  estudiantes  en  una  cohorte  y  proporciona  un  curso  positivo  
tareas  sumativas,  evaluaciones  formativas  y  métodos  de  diseño   e  interactivo  para  los  estudiantes  (Fales­Williams,  Kramer,  Heer  
educativo  en  diversas  disciplinas  como  ingeniería,  biología,   y  Danielson,  2005;  James ,  2016;  Root  Kustritz,  2014).  Cuando  
medicina  y  ciencias  sociales  (Jaeger  &  Adair,  2017;  Krause  et  al.,   se  proporciona  retroalimentación  inmediata  con  pruebas  en  línea,  
2017 ;  Sullivan ,  2016 ) .  Estudios  recientes  destacan  los   se  crea  un  entorno  de  aprendizaje  activo  y  es  más  probable  que  
beneficios  de  los  cuestionarios  en  línea  y  la  actitud  positiva  de  los   los  estudiantes  se  comprometan  con  la  retroalimentación  en  lugar  
estudiantes  hacia  ellos  (Cohen  &  Sasson,  2016;  Wallihan  et  al.,   de  evitarla  si  se  proporciona  más  tarde  (Schneider,  Ruder  y  Bauer,  
2018).  Dichos  beneficios  incluyen  mejorar  la  motivación  de  los   2018) .  La  calidad  y  el  detalle  de  la  retroalimentación  también  
estudiantes,  mejorar  la  comprensión  y  el  aprendizaje  activo,  y   determinarán  el  nivel  de  aprendizaje.  El  aprendizaje  de  los  
disuadir  de  hacer  trampa,  siempre  que  las  preguntas  del   estudiantes  mejora  y  se  refuerza  cuando  se  proporcionan  
cuestionario  no  sean  demasiado  fáciles  (Cook  &  Babon,  2017).   comentarios  detallados  sobre  las  pruebas  en  línea  (Wojcikowski  
Los  cuestionarios  en  línea  cuidadosamente  diseñados  pueden   &  Kirk,  2013).  Las  plataformas,  como  Moodle,  se  utilizan  para  
ser  una  de  las  muchas  soluciones  para  evitar  el  plagio  de  los   incorporar  cuestionarios  y  comentarios  instantáneos  en  los  
estudiantes  al  asignar  preguntas  al  azar,  mezclar  las  respuestas,   cursos  de  enseñanza  dentro  de  las  universidades.  Los  
proporcionar  marcas  de  tiempo  y  registros  de  múltiples  intentos   cuestionarios  de  Moodle,  con  su  facilidad  para  usar  numerosas  
de  cuestionario  con  procesos  de  evaluación  sistemáticos  (Sullivan,  2016) .
opciones  multimedia,  como  audio  y  video,  pueden  respaldar  esta  
Además,  los  cuestionarios  en  línea  pueden  abordar  la  falla  de   interacción  y  proporcionar  comentarios  inmediatos  que  miden  positivamente  el  niv
los  estudiantes  para  resolver  correctamente  problemas  escritos.   Las  técnicas  de  evaluación  de  los  estudiantes  y  su  relación  con  
Los  problemas  de  palabras  tienen  como  objetivo  conectar   las  calificaciones  han  sido  un  tema  de  discusión  durante  muchas  
actividades  de  resolución  de  problemas  matemáticos  con   décadas  en  diversas  disciplinas  académicas  (Huang  &  Fang,  
ejemplos  del  mundo  real  (Geary,  2017).  Los  estudiantes,  sin   2013;  Ransdell,  2001;  Ting,  2001).  Relacionar  la  evaluación  con  
embargo,  pueden  tener  dificultades  para  construir  un  modelo   las  calificaciones  permite  a  los  educadores  tomar  medidas  
mental  de  tales  situaciones  (Thevenot,  2010).  Una  solución  a  este   proactivas  en  el  aula,  por  ejemplo,  cambiar  la  instrucción,  revisar  
problema  es  utilizar  problemas  matemáticos  verbales  que  permitan   los  materiales  de  lectura  y  las  tareas,  brindar  recursos  adicionales  
a  los  estudiantes  dar  sentido  real  a  las  situaciones  descritas  en   a  los  estudiantes  y  establecer  cursos  de  requisitos  previos  (Huang  
los  problemas  (Vicente,  Orrantia  y  Verschaffel,  2008).  Situar  la   y  Fang,  2013) .  Los  procesos  de  evaluación  automatizados  
situación  del  mundo  real  antes  que  el  problema  matemático  es   utilizados  en  algunas  herramientas  de  evaluación  en  línea,  como  
vital  para  comprender  la  representación  matemática  del  problema   los  cuestionarios  de  Moodle,  permiten  a  los  instructores  identificar  
e  integrar  la  información  en  los  problemas  del  mundo  real   patrones  entre  la  respuesta  de  un  estudiante  a  una  pregunta  y  el  
(Thevenot,  Devidal,  Barrouillet  y  Fayol,  2007) .  Por  lo  tanto,  los   rendimiento  general  del  curso  utilizando  características  estadísticas  
educadores  deben  desarrollar  recursos  para  ayudar  a  los   incorporadas  de  la  plataforma.
estudiantes  a  desarrollar  un  modelo  mental  para  resolver  problemas  del  Por  
mundo   real. este  trabajo  investiga:
lo  tanto,  
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  3  de  14

1.  ¿Pueden  los  cuestionarios  en  línea  mejorar  la  participación  y  el   practicar  y  aplicar  los  nuevos  conceptos  aprendidos  en  el  curso,  y  (2)  evaluar  el  
rendimiento  de  los  estudiantes? conocimiento  del  estudiante  y  asignar  una  calificación  apropiada  que  distinga  
2.  ¿Cómo  se  pueden  usar  las  estadísticas  de  Moodle  para  determinar con  precisión  entre  los  niveles  de  competencia  del  estudiante  (principiante,  
la  efectividad  de  las  preguntas  del  cuestionario  en  línea? competente,  competente  y  experto).  Para  lograr  estos  objetivos  se  desarrollaron  
3.  ¿Qué  beneficios  tienen  los  cuestionarios  en  línea  para  los   cuestionarios  Moodle  “formativos”  y  “sumadores”.
académicos?

En  este  curso,  se  desarrollaron  cuestionarios  en  línea  usando  varios  recursos  
Antecedentes  del  curso  El   multimodales  para  explicar  soluciones  matemáticas  complicadas  y  terminología  
curso  de  ingeniería  Hidráulica  e  hidrología  es  un  curso  obligatorio  para  los   específica  del  curso.
estudiantes  de  pregrado  de  tercer  año  del  programa  de  ingeniería  civil  de  la   Los  cuestionarios  proporcionan  un  enfoque  para  construir  modelos  mentales  
Universidad  de  Australia  Meridional.  El  curso  fue  desarrollado  para  cumplir  con   detallados  y  coherentes  de  los  conceptos  clave  del  curso.  Por  ejemplo,  se  
los  estándares  de  Engineers  Australia  para  un  programa  acreditado  de  ingeniería   preparó  un  video  instructivo  para  enseñar  el  concepto  de  una  compuerta  
civil.  El  contenido  del  curso  se  enfoca  en  procesos  hidrológicos,  medición  e   (compuerta  corrediza)  para  controlar  el  flujo  de  agua  donde  podría  ocurrir  un  
interpretación  de  datos  hidrometeorológicos,  diseño  de  estimaciones  de   salto  hidráulico  (aumento  abrupto  de  la  superficie  del  agua)  en  diferentes  
inundaciones,  diseño  de  sistemas  de  canales  abiertos  y  modelado  de  sistemas   posiciones  de  apertura  de  la  compuerta.  La  solución  a  este  problema  requiere  
de  canales  de  ríos.  El  curso  consiste  en  cálculos  matemáticos  complejos   realizar  numerosos  cálculos  y  dibujar  perfiles  de  flujo.  Representaciones  visuales  
generalmente  basados  en  fórmulas  de  Excel  y  análisis  de  datos  hidrológicos. de  todos  los  escenarios  destinados  a  ayudar  a  los  estudiantes  a  comprender  la  
importancia  de  cada  cálculo  al  diseñar  una  compuerta  porque  los  errores  de  
cálculo  pueden  tener  consecuencias  graves.  Se  prestó  atención  a  las  soluciones  
repetitivas  de  problemas  similares,  ya  que  la  investigación  muestra  que  esta  
Los  cuestionarios  de  Moodle  se  desarrollaron  para  este  curso  para  presentar   técnica  fortalece  los  rastros  de  memoria  de  los  esquemas  apropiados  (Thevenot,  
y  desarrollar  el  conocimiento  declarativo  de  los  estudiantes  en  hidrología  de   2010).  También  se  consideraron  los  conocimientos  previos  de  los  estudiantes  y  
ingeniería  e  hidráulica  de  canales  abiertos,  cuando  muchos  cursos  universitarios   el  uso  apropiado  de  palabras  clave  técnicas  al  definir  y  repetir  la  terminología.
pasaron  del  entorno  de  aprendizaje  presencial  convencional  a  la  enseñanza  en  
línea.  El  curso  de  Hidráulica  e  Hidrología  convencional  tenía  una  conferencia  
de  2  horas  seguida  de  un  tutorial  de  2  horas  por  semana  durante  12  semanas  
(con  una  semana  reservada  para  repaso).  Siete  de  estos  tutoriales  semanales  
se  centraron  en  actividades  estructuradas  de  resolución  de  problemas.  Al  
desarrollar  el  curso  en  línea,  estos  siete  tutoriales  se  convirtieron  en  123   Cuestionarios  formativos  
preguntas  secuenciales  de  prueba  de  Moodle  con  etapas  integradas.  Cada   Los  cuestionarios  de  Moodle  se  han  utilizado  para  mejorar  el  diseño  instruccional  
pregunta  de  Moodle  consistía  en  explicaciones  y  comentarios  de  texto,  imágenes,   (Wallihan  et  al.,  2018)  y  las  evaluaciones  formativas  (Cohen  &  Sasson,  2016).  
audio  o  video.  Las  conferencias  presenciales  se  reprodujeron  usando  el  software   En  este  estudio,  se  prepararon  dos  conjuntos  de  preguntas  de  prueba  formativas  
Camtasia  como  una  serie  de  videos  cortos,  destacando  los  conceptos  clave  y  la   con  respuestas  detalladas  como  método  principal  para  enseñar  a  los  estudiantes  
terminología  clave.  Luego,  estos  videos  se  vincularon  a  los  cuestionarios  en  línea   las  teorías  requeridas  por  el  curso.  En  el  primer  conjunto,  cada  pregunta  estaba  
como  comentarios  adicionales  a  algunas  preguntas.  En  lugar  de  asistir  a   integrada  con  un  breve  video  interactivo  (3–12  min)  que  explicaba  el  concepto.  
conferencias  y  tutoriales  presenciales,  los  estudiantes  en  línea  interactúan  con   Estos  videos  fueron  segmentados  para  indicar  claramente  el  problema,  la  
los  profesores  a  través  de  un  aula  virtual  en  tiempo  real  para  discutir  sus   información  dada,  la  solución  detallada  y  la  solución  final.  Al  comienzo  del  video,  
preguntas.  Los  métodos  utilizados  en  la  preparación  de  videos  de  conferencias   los  estudiantes  pueden  elegir  una  sección  del  video  como  se  muestra  en  la  Fig.  
y  clases  virtuales  en  tiempo  real  en  el  curso  en  línea  no  se  analizan  en  este   1  (p.  ej.,  "Solución",  "Solo  la  respuesta")  y  navegar  por  las  secciones  del  video  

documento. según  sus  preferencias,  en  lugar  de  mirar  necesariamente  todo  el  video.  video.  

Esta  facilidad  permitió  un  grado  de  personalización  para  cada  estudiante.  Para  
complementar  esta  actividad,  se  entregaron  a  cada  estudiante  hojas  de  trabajo  
estructuradas  y  con  guiones  que  les  permitían  leer  los  guiones  si  decidían  no  
papel. escuchar  el  video.  Las  hojas  con  guión  fueron  un  recurso  adicional  para  los  
estudiantes,  particularmente  para  aquellos  para  quienes  el  inglés  era  un  idioma  
Métodos   adicional.
Métodos  utilizados  para  desarrollar  cuestionarios  en  
línea  El  proceso  de  estructuración  adecuada  y  selección  de  preguntas  es  vital  
para  transferir  y  evaluar  conocimientos  en  entornos  de  aprendizaje.  En  entornos  
de  aprendizaje  en  línea,  se  debe  tener  especial  cuidado  para  involucrar  a  los  
estudiantes  en  línea.  Los  cuestionarios  para  este  curso  en  línea  se  desarrollaron   En  el  segundo  conjunto  de  preguntas  formativas  del  cuestionario,  los  
para  lograr  dos  objetivos:  (1)  desarrollar  el  conocimiento  de  los  estudiantes   estudiantes  recibieron  instrucciones  para  cada  pregunta  (ver  Fig.  2).
brindándoles  la  oportunidad  de Se  reprodujeron  preguntas  tutoriales  convencionales  que  dieron  como  resultado  
preguntas  escalonadas  con  respuestas  detalladas.  Estudiantes
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  4  de  14

Fig.  1  Captura  de  pantalla  que  muestra  el  comienzo  del  video  corto  incrustado

podría  confirmar  las  respuestas  antes  de  pasar  a  la  siguiente   requisito  para  que  los  estudiantes  obtengan  complicadas  fórmulas  
pregunta  (ver  Fig.  3). e  iteraciones  de  Excel.  Los  estudiantes  recibieron  instrucciones  
detalladas  sobre  cómo  completar  la  tarea.  Estos  estaban  disponibles  
Cuestionarios   para  descargar  a  través  de  la  página  de  inicio  del  curso  (como  se  
sumativos  Se  utilizaron  dos  juegos  de  cuestionarios  sumativos  para   muestra  en  la  Fig.  2)  y  los  estudiantes  tenían  una  semana  para  
evaluar  el  conocimiento  de  los  estudiantes.  La  primera  serie  tenía   seguir  las  instrucciones  e  intentar  las  tareas  usando  las  hojas  de  
una  restricción  de  tiempo  de  1  a  3  h.  Estos  cuestionarios  fueron   Excel.  Luego  se  pidió  a  los  estudiantes  que  completaran  un  
desarrollados  para  desafiar  a  los  estudiantes  en  las  semanas  3,  6,   cuestionario  basado  en  las  tareas  que  intentaron.  En  esta  etapa  se  
9  y  12  del  curso  de  13  semanas.  El  segundo  conjunto  fue   seleccionaron  preguntas  en  función  de  los  conocimientos  que  
debían  
el  ceurso.
desarrollado  para  actividades  interactivas  basadas  en  Excel  que  completan   valuarse.  Por  ejemplo,  en  un

Fig.  2  Hoja  de  instrucciones  descargable  con  referencia  al  cuestionario  de  Moodle
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  5  de  14

Fig.  3  Ejemplos  de  preguntas  con  el  botón  "Comprobar"  para  ver  respuestas  detalladas

Fig.  4  Una  pregunta  de  Moodle  donde  los  estudiantes  deben  ingresar  respuestas  para  las  celdas  seleccionadas  usando  su  fórmula  de  Excel  preelaborada
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  6  de  14

En  una  situación  en  la  que  se  iba  a  evaluar  la  capacidad  de  un   enseñado  para  esa  pregunta.  La  configuración  de  preguntas  
estudiante  para  escribir  una  fórmula  de  Excel  correcta,  se  creó   de  opción  múltiple  requería  mucho  trabajo  y  tiempo,  aunque  la  
un  menú  desplegable  en  una  tabla  (ver  Fig.  4).  Los  estudiantes   calificación  era  instantánea.  Por  el  contrario,  las  preguntas  de  
escribirían  una  fórmula  en  una  hoja  de  Excel  y  luego   tipo  ensayo  eran  rápidas  de  configurar,  pero  requerían  mucho  
seleccionarían  una  respuesta  para  cada  celda  con  un  menú  desplegable. tiempo  para  calificarlas.  Se  creó  una  variedad  de  preguntas  
Los  estudiantes  no  necesitan  ingresar  un  valor  para  cada  celda   para  ayudar  al  aprendizaje  de  los  estudiantes  porque  se  puede  
en  la  misma  columna,  porque  si  la  fórmula  es  correcta  obtendrán   usar  una  combinación  de  diferentes  tipos  de  preguntas  para  
respuestas  para  cada  celda  correcta.  Alternativamente,  si  el   mejorar  el  pensamiento  crítico  de  los  estudiantes  (Ennis,  1993).  
conocimiento  se  evalúa  en  función  de  la  capacidad  de  los   La  variación  del  tipo  de  pregunta  también  optimizó  las  horas  
estudiantes  para  identificar  un  punto  determinado  en  un  gráfico,   requeridas  para  construir  y  calificar  preguntas.  Luego  se  
los  estudiantes  dibujarían  un  gráfico  usando  las  hojas  de  Excel   investigó  la  participación  y  el  desempeño  de  los  estudiantes  en  
y  luego  completarían  la  pregunta  del  tipo  "arrastrar  y  soltar"  en   cada  tipo  de  pregunta.
el  cuestionario  identificando  la  curva  o  punto  correcto  en  el  
gráfico  (ver  Fig.  5).  La  hoja  de  instrucciones  incluye  instrucciones   Evaluación  de  las  preguntas  del  
paso  a  paso,  lo  que  facilita  la  comprensión  de  los  conceptos.   cuestionario  Los  cuestionarios  se  han  implementado  con  
Las  hojas  de  instrucciones  también  tienen  referencias  al   cuatro  cohortes  de  estudiantes  matriculados  en  el  curso  (n  =  169).
cuestionario  adjunto  (ver  Fig.  2).  Se  requiere  que  los  estudiantes   Los  cuestionarios  formativos  se  analizaron  de  acuerdo  con  el  
completen  las  tareas  utilizando  la  fórmula  de  Excel  antes  de   número  de  veces  que  cada  estudiante  intentó  cada  pregunta.  
intentar  la  pregunta  de  prueba  correspondiente. Para  las  preguntas  del  cuestionario  sumativo,  la  idoneidad  de  
cada  pregunta  en  línea  se  basó  en  el  análisis  psicométrico.
Tanto  los  cuestionarios  formativos  como  los  sumativos  
incluían  una  variedad  de  preguntas:  opción  múltiple,  selección   El  análisis  psicométrico  es  un  procedimiento  estadístico  
de  un  menú  desplegable,  ingreso  de  una  respuesta  numérica   para  determinar  la  idoneidad  de  las  preguntas  propuestas  a  
o  de  texto  breve,  carga  de  bocetos,  etiquetas  de  arrastrar  y   efectos  de  calificación  a  partir  de  las  respuestas  de  los  alumnos  
soltar  y  preguntas  reflexivas  y  descriptivas  detalladas  (ensayo)   y  su  relación  con  el  resto  de  respuestas  (Gómez  Soberón  et  
( como  se  muestra  en  la  Fig.  6).  El  porcentaje  de  diferentes   al.,  2013 ).  Como  las  preguntas  formativas  podían  tener  intentos  
formatos  para  las  preguntas  varió  tanto  en  las  pruebas   ilimitados,  el  análisis  psicométrico  no  era  adecuado  para  
sumativas  como  en  las  formativas  (ver  Fig.  7a,  b).  El  formato   analizar  estas  preguntas;  en  cambio,  se  analizaron  de  acuerdo  
de  cada  pregunta  se  modificó  en  función  de  los  conceptos/teorías con  el  número  de  veces  que  cada  estudiante

Fig.  5  Una  pregunta  de  Moodle  donde  los  estudiantes  deben  identificar  los  puntos  arrastrando  y  soltando  etiquetas
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  7  de  14

Fig.  6  Ejemplos  de  tipos  de  preguntas  incluidas  en  los  cuestionarios

a b

Fig.  7  a  Porcentajes  de  diferentes  tipos  de  preguntas  sumativas.  b  Porcentajes  de  diferentes  tipos  de  preguntas  formativas
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  8  de  14

intentó  una  pregunta.  El  análisis  psicométrico  solo  se  utilizó  para  evaluar   Tabla  2  Interpretación  de  los  DI  (valores  del  índice  de  discriminación)  
cuestionarios  sumativos,  ya  que  es  una  herramienta  eficaz  para  evaluar   de  cada  pregunta  (adaptado  de  Moodle  Statistics,  2019a)
la  idoneidad  de  las  preguntas  para  discriminar  entre  estudiantes   DE  (%) Interpretación
competentes  y  menos  competentes. 50  y  más muy  buena  discriminacion
El  análisis  psicométrico  en  este  estudio  abordó:  (1) 30–50 Discriminación  adecuada
¿Las  preguntas  del  cuestionario  estaban  bien  construidas  y  tenían  un  
20–29 discriminación  débil
nivel  de  dificultad  adecuado?  y  (2)  ¿Discriminaron  las  preguntas  entre  los  
0–19 Discriminación  muy  débil
niveles  de  conocimiento  superior  e  inferior  de  los  estudiantes?  El  análisis  
­ve Pregunta  probablemente  inválida
del  cuestionario  sumativo  se  realizó  utilizando  las  estadísticas  de  Moodle  
del  índice  de  facilidad  (FI)  y  el  índice  de  discriminación  (DI).
prueba.  De  acuerdo  con  las  “Estadísticas  de  Moodle” (2019a),  los  valores  
de  DI  deben  interpretarse  como  se  muestra  en  la  Tabla  2.
Para  categorizar  una  pregunta  con  “discriminación  muy  buena”,  los  
estudiantes  que  obtuvieron  una  puntuación  alta  en  otras  secciones  de  la  
Índice  de  
prueba  también  deberían  haber  obtenido  una  puntuación  alta  en  esta  
Facilidades  El  FI  describe  la  dificultad  general  de  las  preguntas  y  el  índice  
pregunta;  De  manera  similar,  los  estudiantes  que  obtuvieron  una  
representa  la  proporción  de  usuarios  que  respondieron  la  pregunta  
puntuación  baja  en  otras  secciones  del  cuestionario  también  deben  haber  
correctamente.  En  principio,  un  IF  muy  bajo  (≤  5%)  o  muy  alto  (≥  95%)  
obtenido  una  puntuación  baja  en  esta  pregunta.  Por  lo  tanto,  la  puntuación  
sugiere  que  la  pregunta  no  es  útil  como  instrumento  de  medida  (Blanco  &  
de  la  pregunta  y  la  puntuación  de  la  prueba  deben  estar  bien  correlacionadas.
Ginovart,  2010 ).  El  FI  se  calcula  utilizando  la  Ec.  1  (ver  Apéndice).  Los  
En  este  estudio,  tanto  FI  como  DI  se  utilizan  como  herramientas  para  
valores  de  FI,  basados  en  la  puntuación  del  estudiante  en  cada  pregunta,  
medir  el  poder  de  una  pregunta  para  distinguir  a  los  estudiantes  
son  interpretados  por  “Estadísticas  de  Moodle” (2019a)  (ver  Tabla  1).
competentes  de  los  débiles.

Funciones  de  los  cuestionarios  en  línea  que  mejoran  la  productividad  

Índice  de  discriminación   de  los  
académicos  Una  vez  que  las  preguntas  del  cuestionario  han  sido  
El  DI  es  la  correlación  entre  las  puntuaciones  ponderadas  de  la  pregunta  
diseñadas  y  refinadas,  las  funciones  disponibles  en  los  cuestionarios  de  
y  las  del  resto  de  la  prueba.  Indica  qué  tan  efectiva  es  la  pregunta  para  
Moodle  pueden  optimizar  la  carga  de  trabajo  de  los  académicos.  Las  
separar  a  los  estudiantes  más  capaces  de  los  menos  capaces.  Una  
características  clave  son:
pregunta  que  es  muy  fácil  o  muy  difícil  no  puede  discriminar  entre  
estudiantes  con  diferentes  habilidades  ya  que  la  mayoría  de  los  
1.  Tener  una  base  de  datos  de  recursos  para  enseñar  y  evaluar  el  
estudiantes  pueden  obtener  el  mismo  resultado.  Según  las  estadísticas  
contenido  del  curso,  como  cálculos  matemáticos  complicados  y  
de  Moodle  (Butcher,  2010),  la  discriminación  máxima  requiere  un  índice  
terminología  específica  del  curso,  que  se  puede  modificar  con  un  
de  facilidad  en  el  rango  de  30  a  70%  (aunque  tal  valor  no  es  garantía  de  
mínimo  esfuerzo  académico.
un  alto  índice  de  discriminación).  El  índice  de  discriminación  se  expresa  
2.  Retroalimentación  personalizada  y  automatizada  que  brinda  
en  la  ecuación.  3  (ver  Apéndice).  El  índice  de  discriminación  se  calcula  
respuestas  adecuadas  y  rápidas  a  los  estudiantes  3.  
en  base  al  número  de  estudiantes  que  completaron  el
Calificación  automatizada  que  reduce  la  carga  de  trabajo  
académico
4.  Aleatorizar  y  barajar  las  preguntas  de  los  cuestionarios,  junto  con  
el  monitoreo  de  los  registros  de  Moodle,  lo  que  permite  
Tabla  1  Interpretación  de  FI  (valores  del  índice  de  instalaciones)  
a  los  académicos  abordar  los  problemas  de  plagio  de  
de  cada  pregunta  (adaptado  de  Moodle  Statistics,  2019a)
manera  más  efectiva  y  eficiente.
SI  (%) Interpretación
<  5 Extremadamente  difícil  o  algo  mal  con  la  pregunta.
Estas  características  benefician  colectivamente  a  los  académicos  con  
6–10 Muy  dificil poco  tiempo  y  mejoran  la  calidad  de  la  enseñanza.
11–20 Difícil

21–34 Moderadamente  difícil Resultados  y  discusión  ¿Pueden  

35–65 Aproximadamente  adecuado  para  el  estudiante  promedio los  cuestionarios  en  línea  mejorar  la  participación  y  el  rendimiento  
66–80 Bastante  fácil de  los  estudiantes?

81–89 Un  enfoque  al  preparar  los  cuestionarios  fue  mejorar  la  participación  de  
Fácil
los  estudiantes.  Aunque  las  preguntas  formativas  no  eran  obligatorias,  el  
90–94 Muy  fácil
65%  de  los  estudiantes  se  comprometieron  con  todas  las  preguntas  
95–100 Extremadamente  facil
formativas  al  menos  una  vez  (ver  Fig.  8).  A
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  9  de  14

Fig.  8  Análisis  de  la  participación  de  los  estudiantes  en  preguntas  formativas

El  testimonio  de  un  estudiante  que  refleja  los  beneficios  que   ¿Cómo  se  pueden  usar  las  estadísticas  de  Moodle  para  determinar  la  

recibieron  a  través  de  estos  recursos  es:  "...  Son  muy,  muy   efectividad  de  las  preguntas  de  los  cuestionarios  en  línea?
útiles  y  fáciles  de  entender...  simplemente  nos  dan  otra   Se  realizó  un  análisis  psicométrico  para  evaluar  las  preguntas  
oportunidad  de  entender  el  ejemplo  después" [Un  estudiante   sumativas  para  identificar  qué  preguntas  debían  revisarse  
en  las  evaluaciones  del  curso  de  2017].  Este  nivel  de   para  lograr  los  objetivos  apropiados,  por  ejemplo,  aumentar  
participación  en  los  cuestionarios  formativos  puede  explicarse   la  tasa  de  aprobación  general  o  limitar  la  cantidad  de  
por  la  variedad  de  formatos  de  preguntas  (respuestas   estudiantes  que  recibieron  distinciones  altas  (HD).  Era  
detalladas  escritas  y/o  en  audio/video  proporcionadas)  y  los   imperativo  evaluar  el  nivel  de  conocimiento  de  un  estudiante,  
diferentes  niveles  de  complejidad  para  cada  pregunta.   así  como  distinguir  la  diferencia  en  los  niveles  de  conocimiento  
Incrustar  videos  en  los  cuestionarios  de  Moodle  mejoró  la   entre  los  estudiantes.
participación  de  los  estudiantes  y  la  satisfacción  de  la   Se  utilizó  el  cálculo  de  FI  para  mantener  la  tasa  de  
actividad.  La  cantidad  de  visualizaciones  de  cada  video   aprobación  requerida  utilizando  un  conjunto  de  preguntas  
incrustado  por  estudiante  osciló  entre  2  y  6,  lo  que  significa   que  variaban  de  fáciles  a  difíciles.  La  distribución  del  nivel  de  
que  los  videos  interactivos  fueron  populares  y  contribuyeron   dificultad  de  todas  las  preguntas  sumativas  después  de  la  
a  la  satisfacción  general  del  estudiante.  Al  final  del  período   primera  cohorte  se  muestra  en  la  Fig.  9.  Después  de  
de  estudio,  los  videos  interactivos  recibieron  comentarios   implementar  los  cuestionarios  para  una  cohorte  de  estudiantes,  
positivos  de  los  estudiantes,  por  ejemplo,  “Los  cuestionarios   la  dificultad  de  cada  pregunta  podría  evaluarse  analizando  el  
y  videos  en  línea  son  prácticos  y  útiles.  Y  permite  a  los   FI,  apuntando  a  un  valor  entre  11  %  y  89%.  Estos  resultados  
estudiantes  aprender  en  su  propio  tiempo”.  [Informe  del  Grupo  Focal  2017].
llevaron  
a  una  mayor  modificación  de  las  evaluaciones  si  las  preguntas

Fig.  9  Distribución  del  nivel  de  dificultad  de  cada  pregunta,  en  base  a  FI
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  10  de  14

se  consideraron  demasiado  fáciles  o  demasiado  difíciles,  optimizando   respondió  esta  pregunta  correctamente  independientemente  de  
así  la  efectividad  de  las  preguntas. cómo  se  desempeñó  en  otras  partes  de  la  prueba.  Si  el  enfoque  
Aunque  FI  es  una  medida  útil  para  determinar  el  nivel  de  dificultad   está  en  separar  a  los  estudiantes  que  merecen  distinciones  altas  
de  cada  pregunta,  hacer  que  las  preguntas  sean  fáciles  o  difíciles   (HD)  de  distinciones  (D)  y  D  de  crédito  (C),  entonces  las  preguntas  
solo  puede  controlar  la  cantidad  de  estudiantes  que  aprueban  o   "fáciles"  con  poca  discriminación  no  son  adecuadas  ya  que  la  
suspenden.  Esta  medida  no  se  puede  utilizar  de  manera  efectiva   mayoría  de  los  estudiantes  pueden  responder  este  tipo  de  preguntas  
para  categorizar  o  determinar  los  diferentes  niveles  de  conocimiento   correctamente  independientemente  de  su  habilidad.  En  tal  escenario,  
de  los  estudiantes,  desde  principiantes  hasta  expertos.  DI  fue  una   este  tipo  de  preguntas  se  pueden  eliminar/revisar  para  futuras  
escala  más  eficaz  para  medir  la  capacidad  de  cada  pregunta  para   cohortes.  Por  lo  tanto,  confiar  únicamente  en  el  índice  FI  o  la  
"discriminar"  entre  cada  estudiante  con  un  nivel  de  "discriminación   “facilidad”  de  la  pregunta  no  es  adecuado.  FI  no  proporciona  una  
muy  buena"  del  50%  o  más.  Las  preguntas  con  discriminación  débil   correlación  directa  entre  los  estudiantes  que  obtuvieron  buenos  
(<30  %)  no  fueron  adecuadas,  ya  que  esto  puede  dar  lugar  a  que   puntajes  en  esta  pregunta  con  los  estudiantes  que  obtuvieron  
los  estudiantes  reciban  calificaciones  finales  que  no  reflejen  su  nivel   buenos  puntajes  en  otras  partes  de  la  prueba.  Sin  embargo,  se  
de  competencia.  La  distribución  porcentual  del  análisis  DI  de  todas   puede  lograr  una  discriminación  “muy  buena”  con  preguntas  
las  preguntas  sumativas  después  de  la  primera  cohorte  se  muestra   “bastante  fáciles”,  por  ejemplo,  las  preguntas  9,  38  y  47  (ver  Fig.  11).
en  la  Fig.  10.  Las  preguntas  con  un  DI  negativo,  lo  que  significa  una   Por  otro  lado,  las  preguntas  muy  difíciles  siempre  tienen  
pregunta  inválida  con  un  error,  se  eliminaron  o  revisaron  para  la   discriminación  “débil”,  por  ejemplo  las  preguntas  7,  16  y  48  (ver  Fig.  
siguiente  cohorte  de  estudiantes. 11).  Tales  preguntas  son  difíciles  para  todos  los  estudiantes,  
FI  y  DI  se  analizaron  simultáneamente  antes  de  evaluar  la   independientemente  de  su  desempeño  en  otras  partes  de  la  prueba.  
idoneidad  de  cada  pregunta.  El  FI  y  el  DI  de  las  61  preguntas   Por  el  contrario,  algunas  preguntas  (preguntas  28,  41  y  50  de  la  Fig.  
sumativas  se  muestran  en  la  Fig.  11.  El  FI  solo  indica  si  las  preguntas   11)  muestran  valores  negativos  para  la  discriminación  mostrando  
son  fáciles  o  difíciles  según  la  cantidad  de  estudiantes  que   una  correlación  inversa  entre  los  estudiantes  que  aciertan  esta  
contestaron  correctamente  la  pregunta.  Por  ejemplo,  la  figura  11   pregunta  con  los  que  aciertan  otras  partes  de  la  prueba.  Por  lo  
muestra  que  las  preguntas  1,  5  y  6  tienen  el  mismo  índice  de   general,  esto  sucede  con  un  error  o  una  simplificación  excesiva  en  
confianza  del  85  %,  lo  que  significa  que  las  tres  preguntas  fueron   una  pregunta.
fáciles.  Sin  embargo,  los  DI  de  las  mismas  preguntas  fueron  40%,   Un  análisis  posterior  de  FI  y  DI  no  mostró  una  relación  significativa  
9%  y  51%  que  representan  una  discriminación  moderada,  débil  y   entre  los  tipos  de  preguntas  (que  se  muestran  en  la  Fig.  7a)  y  sus  
muy  buena.  Por  lo  tanto,  una  pregunta  "fácil"  también  puede  ser  una   valores  de  DI,  excepto  para  el  tipo  de  preguntas  "reflexivas  o  
pregunta  que  tiene  buenas  características  de  "discriminación",  lo   descriptivas".  Este  tipo  de  preguntas  en  su  mayoría  tenían  un  índice  
que  significa  que  la  mayoría  de  los  estudiantes  que  respondieron   DI  superior  al  50%,  lo  que  indica  la  importancia  de  incluir  este  tipo  
correctamente  a  esta  pregunta  también  respondieron  correctamente   de  preguntas  en  los  cuestionarios  en  línea.  La  investigación  de  FI  
a  otras  preguntas.  Del  mismo  modo,  los  estudiantes  que  no   junto  con  DI  proporcionó  datos  útiles  para  evaluar  cada  pregunta  y  
respondieron  correctamente  tampoco  respondieron  correctamente   corregirlas/modificarlas  según  sea  necesario  para  proporcionar  a  
otras  preguntas.  Sin  embargo,  algunas  preguntas  “fáciles”  que   todos  los  estudiantes  una  calificación  justa,  optimizando  así  la  
eficacia  
lo  que  sdignifica  
tenían  el  mismo  valor  de  FI  pueden  tener  una  discriminación  “muy  débil”,   e  las  pruebas.
que  la  mayoría  de  los  estudiantes

Fig.  10  Nivel  de  discriminación  de  pregunta  sumativa  basada  en  DI
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  11  de  14

Fig.  11  Análisis  de  FI  y  DI  al  evaluar  las  preguntas  con  fines  de  revisión

¿Qué  beneficios  tienen  los  cuestionarios  en  línea  para  los  académicos? De  manera  similar,  la  calificación  automática  en  los  cuestionarios  en  
Los  cuestionarios  en  línea  tienen  numerosos  beneficios  prácticos  para   línea  ahorró  una  cantidad  significativa  de  tiempo  a  los  académicos,  en  
los  académicos.  El  primer  beneficio  es  que  las  preguntas  del  cuestionario   particular  para  las  tareas  basadas  en  Excel.  Antes  de  la  introducción  de  
fueron  eficaces  en  la  enseñanza  y  el  aprendizaje  de  un  curso  complejo   estos  cuestionarios  en  línea,  los  estudiantes  usaban  la  fórmula  de  Excel  
de  matemáticas  aplicadas.  Las  preguntas  del  cuestionario  que  se   para  los  cálculos  y  los  tutores  usaban  hojas  de  respuestas  onerosas  
diseñaron  utilizaron  varios  recursos  multimodales  con  videos  integrados   como  guía  al  calificar.  Con  las  preguntas  del  cuestionario  en  línea  de  
que  permitían  a  los  estudiantes  visualizar  escenarios  de  la  vida  real   Moodle,  los  estudiantes  aún  tienen  que  practicar  cómo  usar  Excel  para  
como  paso  previo  a  la  resolución  de  problemas  necesarios. el  tipo  de  preguntas  iterativas,  pero  los  marcadores  no  tienen  que  usar  
La  escenificación  cuidadosa  de  las  preguntas  con  la  repetición  necesaria   las  largas  hojas  de  Excel.  Los  cuestionarios  de  Moodle  redujeron  el  
aseguró  así  el  desarrollo  de  los  conceptos  y  habilidades  del  curso.  Una   tiempo  de  calificación  ya  que  los  resultados  se  calcularon  
vez  que  se  han  diseñado  las  preguntas,  se  pueden  refinar  de  manera   instantáneamente  para  respuestas  numéricas  y  de  texto  breve.  Este  
continua  con  un  mínimo  esfuerzo  académico. enfoque  permitió  redirigir  el  tiempo  hacia  la  corrección  minuciosa  de  
preguntas  reflexivas  y  descriptivas.  Los  tutores  marcaron  estas  
Otro  beneficio  de  los  cuestionarios  en  línea  fue  la  retroalimentación   preguntas  y  proporcionaron  comentarios  personalizados,  asegurándose  
personalizada  y  automatizada.  La  retroalimentación  automatizada   de  que  los  estudiantes  no  se  sintieran  aislados  o  privados  de  sus  derechos  en  la  Universida
inmediata  relevante  para  cada  pregunta  explicaba  los  errores  comunes   Los  cuestionarios  en  línea  también  ayudaron  a  los  académicos  a  
cometidos  por  los  estudiantes  y  se  ahorró  un  tiempo  significativo  al  no   combatir  el  plagio.  En  las  prácticas  de  corrección  anteriores,  
proporcionar  retroalimentación  repetitiva  para  los  errores  comunes.  Las   especialmente  en  clases  grandes,  la  fórmula  de  Excel  podía  copiarse  sin  
actividades  en  línea  escenificadas  redujeron  significativamente  el   ser  detectada  en  el  software  de  coincidencia  de  texto.  Este  problema  se  
tiempo  que  los  académicos  dedicaron  a  explicar  los  conceptos.  En   solucionó  desarrollando  los  cuestionarios  en  línea  mediante  el  uso  de  
cambio,  podrían  pasar  este  tiempo  ahorrado  con  los  estudiantes  durante   funciones  avanzadas  de  Moodle,  como  la  asignación  aleatoria  de  
las  sesiones  semanales  del  servicio  de  asistencia  a  través  de  un  aula   preguntas,  la  combinación  aleatoria  de  respuestas  y  la  verificación  de  
virtual,  enfocándose  en  las  preguntas  de  los  estudiantes,  en  lugar  de   registros.  Por  lo  tanto,  los  cuestionarios  en  línea  han  reducido  la  carga  
explicar  los  conceptos  básicos.  Este  cambio  en  el  enfoque  de  la   de  trabajo  de  los  académicos  al  mismo  tiempo  que  crean  un  entorno  de  
enseñanza  presencial  al  aprendizaje  en  línea  proporcionó  a  los  profesores   aprendizaje  activo  y  comprometido  para  los  estudiantes.
un  tiempo  vital  individual  con  los  estudiantes  que  se  concentraban  en  
el  contenido  que  necesitaba  más  aclaración.  Al  ahorrar  tiempo   Conclusión
académico,  también  fue  rentable. Este  documento  analiza  la  capacidad  integral  de  los  cuestionarios  de  
Moodle  para  transferir  y  evaluar  conocimientos  de  ingeniería.
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  12  de  14

basado  en  un  estudio  realizado  en  un  curso  de  ingeniería  civil  de  pregrado   preguntas  en  un  curso  de  matemáticas  aplicadas.  Todos  los  demás  tipos  
en  la  Universidad  de  Australia  del  Sur. de  preguntas  tenían  un  rango  de  DI.  Sin  embargo,  las  razones  por  las  que  
El  documento  explica  los  enfoques  utilizados  al  preparar  materiales  en   algunas  preguntas  en  la  misma  categoría  tenían  diferentes  valores  de  DI  
línea  para  mejorar  la  participación  y  el  rendimiento  de  los  estudiantes.  El   y  las  características  de  estas  preguntas  no  fueron  investigadas  en  este  
documento  destaca  cómo  se  pueden  usar  las  estadísticas  de  Moodle  para   estudio.  Un  análisis  más  profundo  de  las  preguntas  individuales  y  sus  
medir  la  efectividad  de  las  preguntas  de  los  cuestionarios  para  otorgar  a   valores  de  DI  sería  un  foco  de  investigación  que  valdría  la  pena  para  
los  estudiantes  una  calificación  justa  mediante  el  cálculo  de  FI  y  DI.   estudios  futuros.
También  analiza  los  beneficios  para  los  académicos  al  usar  funciones   Este  estudio  proporciona  numerosos  métodos  que  se  pueden  aplicar  
dentro  de  los  cuestionarios  de  Moodle. para  desarrollar  cuestionarios  en  línea  efectivos  e  interactivos.  Los  
El  estudio  encontró  que  los  cuestionarios  de  Moodle  evaluaron  las   principios  discutidos  en  este  documento  no  se  limitan  a  Moodle  LMS  y  
competencias  de  los  estudiantes  durante  las  diversas  etapas  de  un  período   podrían  aplicarse  a  otros  sistemas  LMS  que  admitan  cuestionarios  en  
de  estudio  a  través  de  calificaciones  automatizadas  y  estadísticas   línea.  Además,  algunos  métodos  presentados  en  este  documento  (p.  ej.,  
fácilmente  extraíbles.  Estos  cuestionarios  de  Moodle  cuidadosamente   cómo  calcular  e  interpretar  FI  y  DI)  permiten  a  los  educadores  utilizar  estos  
preparados  se  adaptaron  a  estudiantes  con  diferentes  niveles  de   métodos  en  cualquier  cuestionario  en  línea  o  fuera  de  línea.  En  general,  
conocimiento  dentro  de  la  disciplina.  El  estudio  identificó  a  FI  y  DI  como   el  enfoque  detallado  en  este  documento  es  conciso  y  flexible  para  el  
índices  de  control  a  partir  de  los  cuales  se  infiere,  identifica  y  predice  el   desarrollo  de  recursos  en  línea.  Este  documento  mejorará  los  enfoques  de  
desempeño  educativo  de  los  estudiantes  al  detectar  si  las  preguntas   enseñanza  digital  obligatorios  y  no  obligatorios  y  conducirá  a  la  optimización  
propuestas  son  adecuadas  para  evaluar  el  nivel  de  conocimiento,  grado   de  las  evaluaciones  para  brindar  una  experiencia  de  aprendizaje  dinámica  
de  dificultad  y  grado  de  discriminación  entre  diferentes  tipos  de  habilidades   y  valiosa  para  los  estudiantes.
conceptuales.  El  estudio  mostró  que  el  FI  y  el  DI  deben  usarse  juntos  para  
determinar  una  indicación  confiable  de  qué  preguntas  son  beneficiosas  
para  lograr  el  éxito  final  del  curso.  Al  investigar  FI  y  DI,  los  educadores   Apéndice  
pueden  tomar  decisiones  sobre  la  selección  de  preguntas  en  función  de   Ecuaciones  para  representar  el  índice  de  instalaciones  (FI)  y  el  índice  de  
su  objetivo  previsto  (por  ejemplo,  si  quieren  discriminar  entre  estudiantes   discriminación  (DI)  (adaptado  de  Moodle  Statistics,  2019b)
o  si  quieren  aumentar  la  tasa  de  aprobación  sin  disminuir  la  calidad  del  
curso).  Si  los  educadores  quieren  aumentar  la  tasa  de  aprobación  sin   El  FI  puede  ser  representado  por  la  Ec.  1.
sacrificar  la  calidad  del  curso,  entonces  deben  seleccionarse  preguntas  
con  FI  alto  (≥  66  %  o  más)  y  DI  alto  (≥  30  %  o  más).  Las  preguntas  que   xi−xth  minÞ
Fi  ¼  100   ð1Þ
requieren  modificación  e  instrucción  adicional  pueden  identificarse   xid  Þ  max  −xid  minÞ
rápidamente  mediante  este  tipo  de  análisis.
En  las  estadísticas  de  Moodle,  xi(min)  siempre  es  cero,  por  lo  que  Eq.1
puede  simplificarse  a  la  Ec.  2.

xi
Fi  ¼  100   ð2Þ
xid  Þ  máx
La  calidad  de  estos  cuestionarios  se  mejoró  mediante  el  uso  de  una  
variedad  de  formatos  de  preguntas  con  varias  instrucciones  multimodales,  
donde  xi:  puntaje  del  estudiante  en  cada  pregunta  El  
seguidas  de  comentarios  rápidos.  La  variedad  y  combinación  de  las  
DI  se  puede  representar  mediante  la  ecuación.  3.
preguntas  del  cuestionario  aumentaron  el  compromiso  y  la  satisfacción  
de  los  estudiantes,  ya  que  se  adaptaron  a  los  diferentes  niveles  de  
Cxp ;  XP
conocimiento  de  los  estudiantes.  La  variedad  de  formatos  de  preguntas   Dp  ¼  100r  xp;  XP  ¼  100
uffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff

ð3Þ
también  ayudó  a  los  educadores  a  equilibrar  el  tiempo  requerido  para   q V  xp  V  xp
construir  y  calificar  el  cuestionario  (por  ejemplo,  el  equilibrio  entre  
preguntas  de  opción  múltiple  y  tipo  descriptivo).  Este  documento  destaca   dónde
formas  de  reducir  el  tiempo  de  calificación  (p.  ej.,  no  tener  que  corregir  
1
manualmente  las  tareas  basadas  en  Excel)  y  reasignar  el  tiempo  para  
Cxp ;  XP  ¼
corregir  otras  evaluaciones  (p.  ej.,  tareas  reflexivas  y  descriptivas). S−1 X  xpð  Þs  −xp  Xpð  Þs  −Xp
s S

1 2
Una  limitación  de  este  estudio  es  que  los  resultados  se  basan  en  un  
Vxp  ¼  _
solo  curso,  aunque  con  cuatro  cohortes. S−1 X  xpð  Þs  −xp
s S

Es  necesario  investigar  el  análisis  de  los  resultados  de  algunos  cursos  
similares  de  matemáticas  aplicadas  para  generalizar  los  resultados.  De   El  lote  de  estudiantes  s     S  que  han  completado  al  menos
los  diversos  tipos  de  preguntas  utilizadas  en  este  estudio,  la  mayoría  de   un  intento  en  el  cuestionario.
las  preguntas  reflexivas  y  descriptivas  tuvieron  un  DI  alto,  lo  que  indica  la   El  cuestionario  tiene  varias  posiciones  p     P  Cada  
importancia  de  incluir  este  tipo  de  preguntas. cuestionario  tiene  varias  preguntas  i     I
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  13  de  14

abreviaturas Rotación  de  patología  anatómica.  Revista  de  Educación  Médica  Veterinaria,  
C:  Crédito;  D:  Distinción;  DI:  índice  de  discriminación;  FI:  Índice  de  instalaciones;  HD:  alta   32(1),  144–149.  https://doi.org/10.3138/jvme.32.1.144.
distinción;  LMS:  sistema  de  gestión  de  aprendizaje Francis,  R.  y  Shannon,  SJ  (2013).  Comprometerse  con  el  aprendizaje  combinado  para  mejorar  
los  resultados  de  aprendizaje  de  los  estudiantes.  Revista  europea  de  educación  en  
Agradecimientos  Los   ingeniería,  38  (4),  359–369.  https://doi.org/10.1080/03043797.2013.766679.
autores  desean  agradecer  a  la  Dra.  Guna  Hewa  por  su  trabajo  inicial  en  este  estudio  ya  Andrea   Geary,  DC  (2017).  Adquisición  de  habilidades  aritméticas  complejas  y  de  orden  superior

Duff  por  su  trabajo  editorial. conceptos  matemáticos.  Londres:  Elsevier.
Gómez­Soberón,  J.  M.,  Gómez­Soberón,  M.  C.,  Corral­Higuera,  R.,  Arredondo­Rea,  S.  P.,  
Contribuciones  de  los  autores   Almaral­Sánchez,  J.  L.,  &  Cabrera­Covarrubias,  F.  G.  (2013).  Calibrating  questionnaires  
by  psychometric  analysis  to  evaluate  knowledge.  SAGE  Open,  3(3),  1–14.  https://doi.org/
Todos  los  autores  contribuyeron  a  la  redacción  del  artículo.  SHPWG  planificó  la  investigación,  
10.1177/2158244013499159.  
realizó  el  análisis  estadístico  y  diseñó  las  herramientas  en  línea.
Heo,  M.  y  Chow,  A.  (2005).  El  impacto  de  la  herramienta  de  evaluación  y  aprendizaje  en  línea  aumentada  
JRA,  MB  y  EJS  realizaron  el  análisis  de  contenido  y  proporcionaron  datos  pedagógicos.  Los  
por  computadora.  Tecnología  educativa  y  sociedad,  8(1),  113–125.
nombres  están  en  orden  de  la  cantidad  de  contribución  dada.  Todos  los  autores  leyeron  
Huang,  S.  y  Fang,  N.  (2013).  Predicción  del  rendimiento  académico  de  los  estudiantes  en  un  curso  
y  aprobaron  el  manuscrito  final.
de  ingeniería  dinámica:  una  comparación  de  cuatro  tipos  de  modelos  matemáticos  predictivos.  
Informática  y  Educación,  61(1),  133–145.  https://doi.  org/10.1016/j.compedu.2012.08.015.
Financiación  
Esta  investigación  no  recibió  ninguna  subvención  específica  de  ninguna  agencia  de  financiación.
Jackson,  BL  (2017).  Utilización  de  herramientas  tecnológicas  en  línea  por  parte  del  profesorado  de  
educación  superior:  un  análisis  multinivel.  Revista  de  Multimedia  Educativa  e  
Disponibilidad  de  datos  y  materiales  Los  
Hipermedia,  26(3),  271–283.
conjuntos  de  datos  utilizados  y  analizados  durante  el  estudio  actual  están  disponibles  del  autor  
Jaeger,  M.  y  Adair,  D.  (2017).  La  presión  del  tiempo  en  los  cuestionarios  de  seguridad  en  la  construcción  
correspondiente  a  pedido.
en  línea  basados  en  escenarios  y  su  efecto  en  el  desempeño  de  los  estudiantes.  Revista  europea  
de  educación  en  ingeniería,  42  (3),  241–251.  https://doi.org/10.1080/03043797.2  016.1153042.
Aprobación  ética  y  consentimiento  para  participar  Esta  
investigación  fue  aprobada  por  el  Comité  de  Ética  Humana  de  la  Universidad  de  Australia   James,  R.  (2016).  Actitudes  de  los  estudiantes  de  educación  superior  hacia  los  exámenes  
Meridional  con  el  número  de  referencia  201281.
sumativos  en  línea  supervisados.  Revista  internacional  de  tecnología  educativa  en  la  
educación  superior,  13  (1),  1–13.  https://doi.org/10.1186/s41239­016­0015­0.
Consentimiento  para  publicación   Krause,  C.,  Krause,  R.,  Krause,  R.,  Gómez,  N.,  Jafry,  Z.  y  Dinh,  VA  (2017).
No  aplicable. Efectividad  de  una  evaluación  enfocada  extendida  de  1  hora  con  ecografía  en  la  sesión  de  trauma  
en  el  internado  de  cirugía  del  estudiante  de  medicina.  Revista  de  Educación  Quirúrgica,  74(6),  

Conflicto  de  intereses  Los   968–974.  https://doi.org/10.1016/j.jsurg.2017.03.007.

autores  declaran  que  no  tienen  conflictos  de  intereses. Liagkou,  V.  y  Stylios,  C.  (2018).  Un  modelo  confiable  y  que  preserva  la  privacidad  para  el  sistema  de  
evaluación  de  competencias  en  línea.  En  Conferencia  internacional  sobre  confiabilidad  
Detalles  del  autor y  sistemas  complejos  (págs.  338–347).  Saltador.  https://doi.org/1  0.1007/978­3­319­91446­6.
1
Escuela  de  Entornos  Naturales  y  Construidos,  Universidad  de  Australia  Meridional,  
2
Campus  de  Mawson  Lakes,  Mawson  Lakes,  SA  5095,  Australia. Investigación  y Maarek,  J.  (2018).  Beneficios  del  aprendizaje  activo  integrado  en  el  contenido  en  línea

Servicios  de  Innovación,  Universidad  del  Sur  de  Australia,  Campus  de  Mawson  Lakes,   material  de  apoyo  de  un  aula  invertida.  Actas  de  la  Conferencia  y  Exposición  Anual  de  ASEE,  
Mawson  Lakes,  SA  5095,  Australia. Salt  Lake  City.  https://peer.asee.org/29845.  Consultado  el  14  de  junio  de  2019.

Recibido:  19  de  marzo  de  2019  Aceptado:  23  de  julio  de  2019 Martins,  SG  (2017).  Cuestionarios  en  línea  semanales  para  un  curso  de  matemáticas  para  
estudiantes  de  ingeniería.  Teaching  Mathematics  and  its  Applications:  An  International  
Journal  of  the  IMA,  36(1),  56–63.  https://doi.org/10.1093/teamat/hrw011 .

Referencias
André,  L.  (2019).  Las  20  mejores  soluciones  de  software  LMS  de  2019,  FinancesOnline.  Todo  B2B. Estadísticas  de  Moodle.  (2019a).  Moodle.  https://docs.moodle.org/dev/Quiz_report_statistics .  
Consultado  el  26  de  febrero  de  2019.
https://financesonline.com/top­20­lms­software­solutions/.  Consultado  el  9  de  junio  de  2019.
Aydin,  CC  y  Tirkes,  G.  (2010).  Sistemas  de  gestión  de  aprendizaje  de  código  abierto  en Estadísticas  de  Moodle.  (2019b).  Moodle.  https://docs.moodle.org/dev/Quiz_statistics_calculations#Introduction .  

la  educación  a  distancia.  Revista  turca  en  línea  de  tecnología  educativa,  9  (2),  175–184. Consultado  el  21  de  julio  de  2019.

Blanco,  M.  y  Ginovart,  M.  (2010).  Cuestionarios  de  Moodle  para  evaluar  temas  estadísticos  en  estudios  de   Philipsen,  B.,  Tondeur,  J.,  Roblin,  NP,  Vanslambrouck,  S.  y  Zhu,  C.  (2019).

ingeniería.  Actas  de  la  Conferencia  Anual  Conjunta  Internacional  IGIP­SEFI,  19­22  de   Mejorar  el  desarrollo  profesional  docente  para  el  aprendizaje  en  línea  y  semipresencial:  

septiembre  de  2010.  https://upcommons.upc.edu/  bitstream/handle/2117/9992/ una  revisión  metaagregativa  sistemática.  Investigación  y  desarrollo  de  tecnología  educativa,  

blanco_ginovart_igip_sefi_2010.pdf.  Consultado  el  8  de  junio  de  2019. 1–30.  https://doi.org/10.1007/s11423­019­09645­8.
Ransdell,  S.  (2001).  Predicción  del  éxito  universitario:  la  importancia  de  la  capacidad  y  las  
Broadbent,  J.  y  Fuller­Tyszkiewicz,  M.  (2018).  Perfiles  en  el  aprendizaje  autorregulado  y  sus   variables  no  cognitivas.  Revista  Internacional  de  Investigación  Educativa,  35(4),  357–  364.  
correlatos  para  estudiantes  de  aprendizaje  en  línea  y  semipresencial.  Una  publicación   https://doi.org/10.1016/S0883­0355(01)00032­5.
bimensual  de  la  Association  for  Educational  Communications  &  Technology,  66(6),  1435– Rinaldi,  VD,  Lorr,  NA  y  Williams,  K.  (2017).  Evaluación  de  un  sistema  de  respuesta  interactivo  respaldado  

1455.  https://doi.org/10.1007/s11423­018­9595­9. por  tecnología  durante  la  sección  de  laboratorio  de  un  curso  de  histología.  Educación  en  

Carnicero,  P.  (2010).  Estadísticas  del  informe  de  prueba.  Moodle.  https://docs.moodle.org/dev/   ciencias  anatómicas,  10(4),  328–338.  https://doi.org/10.1  002/ase.1667.

Quiz_report_statistics.  Consultado  el  26  de  febrero  de  2019.
Cohen,  D.  y  Sasson,  I.  (2016).  Cuestionarios  en  línea  en  un  entorno  virtual  de  aprendizaje  como   Root­Kustritz,  MV  (2014).  Teriogenología  canina  para  entusiastas  de  los  perros:  metodología  de  

herramienta  para  la  Evaluación  Formativa.  Revista  de  Educación  Tecnológica  y   enseñanza  y  resultados  en  un  curso  masivo  abierto  en  línea  (MOOC).
Científica,  6(3),  188–208.  https://doi.org/10.3926/jotse.217. Revista  de  Educación  Médica  Veterinaria,  41(1),  9–18.  https://doi.org/10.3138/  jvme.0813­112R1.
Cook,  BR  y  Babon,  A.  (2017).  Aprendizaje  activo  a  través  de  cuestionarios  en  línea:  mejor
aprendizaje  y  menos  trabajo  (ocupado).  Revista  de  geografía  en  la  educación  superior,  41  (1),  24–38.   Salamon,  H.,  Ali,  N.,  Miskon,  S.  y  Ahmad,  N.  (2016).  Recomendaciones  iniciales  de

https://doi.org/10.1080/03098265.2016.1185772.  Industria  del   Características  de  los  MOOC  para  clusters  de  disciplinas  académicas.  Revista  de  Tecnología  de  la  
aprendizaje  electrónico  (2018).  El  mejor  software  LMS  basado  en  la  experiencia  del  cliente.  https:// Información  Teórica  y  Aplicada,  87(2),  204–213.
elearningindustry.com/directory/software­categories/learning­management­systems/best/ Sancho­Vinuesa,  T.,  Masià,  R.,  Fuertes­Alpiste,  M.,  &  Molas­Castells,  N.  (2018).
customer­experience .  Consultado  el  9  de  junio  de  2019. Explorando  la  efectividad  de  la  actividad  continua  con  retroalimentación  automática  en  
Ennis,  RH  (1993).  Evaluación  del  pensamiento  crítico.  De  la  teoría  a  la  práctica,  32(3),  179– cálculo  en  línea.  Aplicaciones  informáticas  en  la  enseñanza  de  la  ingeniería,  26(1),  62–74.  
186.  https://doi.org/10.1080/00405849309543594. https://doi.org/10.1002/cae.21861.
Fales­Williams,  A.,  Kramer,  T.,  Heer,  R.  y  Danielson,  J.  (2005).  Un  cuestionario  se  convierte  en  un   Schneider,  JL,  Ruder,  SM  y  Bauer,  CF  (2018).  Percepciones  de  los  estudiantes  de
diálogo  multidireccional  con  herramientas  de  instrucción  basadas  en  la  web  para  un pruebas  de  retroalimentación  inmediata  en  clases  de  química  centradas  en  el  estudiante.  Química
Machine Translated by Google

Gamage  et  al.  Revista  internacional  de  educación  STEM (2019)  6:27 Página  14  de  14

Investigación  y  práctica  educativa,  19(2),  442  –451.  https://doi.org/10.1039/c7rp00183e  
_ .
Sullivan,  DP  (2016).  Un  enfoque  integrado  para  prevenir  las  trampas
evaluaciones  asincrónicas,  objetivas  y  en  línea  en  clases  de  negocios  de  posgrado.
Aprendizaje  en  línea,  20(3),  195  –209.  https://doi.org/10.24059/olj.v20i3.650 .
Thévenot,  C.  (2010).  Resolución  de  problemas  aritméticos  verbales:  Evidencia  de  la
construcción  de  un  modelo  mental.  Acta  Psychologica,  133(1),  90  –95.  https://doi.  org/
10.1016/j.actpsy.2009.10.004 .
Thevenot,  C.,  Devidal,  M.,  Barrouillet,  P.  y  Fayol,  M.  (2007).  ¿Por  qué  colocar  la  pregunta  antes  
de  un  problema  verbal  de  aritmética  mejora  el  rendimiento?  Una  cuenta  modelo  de  
situación.  Revista  trimestral  de  psicología  experimental,  60(1),  43  –56.  https://doi.org/
10.1080/17470210600587927 .
Ting,  SMR  (2001).  Predicción  del  éxito  académico  de  estudiantes  de  primer  año  de  
ingeniería  a  partir  de  puntajes  de  exámenes  estandarizados  y  variables  psicosociales.
Revista  Internacional  de  Educación  en  Ingeniería,  17(1),  75  –80.
Vicente,  S.,  Orrantia,  J.  y  Verschaffel,  L.  (2008).  Influencia  del  conocimiento  matemático  y  
situacional  en  la  resolución  de  problemas  aritméticos  verbales:  ayudas  textuales  y  
gráficas.  Infancia  Y  Aprendizaje,  31(4),  463  –483.  https://doi.org/10.1174/  
021037008786140959 .
Wallihan,  R.,  Smith,  KG,  Hormann,  MD,  Donthi,  RR,  Boland,  K.  y  Mahan,  JD
(2018).  Utilidad  de  los  cuestionarios  en  línea  intermitentes  como  advertencia  temprana  para  
los  residentes  en  riesgo  de  reprobar  el  examen  de  certificación  de  la  junta  pediátrica.  
(Informe).  BMC  Educación  Médica,  18,  1.  https://doi.org/10.1186/s12909­018­1366­0 .
West,  J.  y  Turner,  W.  (2016).  Mejorar  la  experiencia  de  evaluación:  mejorar  las  percepciones,  
el  compromiso  y  la  comprensión  de  los  estudiantes  mediante  comentarios  en  video  en  
línea.  Innovaciones  en  Educación  y  Enseñanza  Internacional,  53(4),  400  –410.  https://doi.org/
10.1080/14703297.2014.1003954 .
Williams  van  Rooij,  S.  (2012).  Sistemas  de  gestión  de  aprendizaje  de  código  abierto:  A
modelo  predictivo  para  la  educación  superior.  Revista  de  aprendizaje  asistido  por  
computadora,  28(2),  114  –125.  https://doi.org/10.1111/j.1365­2729.2011.00422.x .
Wojcikowski,  K.  y  Kirk,  L.  (2013).  Comentarios  detallados  inmediatos  para  el  aprendizaje  
mejorado  con  pruebas:  una  herramienta  educativa  en  línea  eficaz.  Profesor  de  Medicina,  
35(11),  915  –  919.  https://doi.org/10.3109/0142159X.2013.826793 .

Nota  del  editor  Springer  
Nature  se  mantiene  neutral  con  respecto  a  las  reclamaciones  jurisdiccionales  
en  mapas  publicados  y  afiliaciones  institucionales.