Moodle se transforma en una plataforma para evaluar competencias

Moodle se transforma en una plataforma para evaluar competencias Moodle becomes a platform to assess competencies * Mercedes Leticia Sánchez Ambriz * ILCE Resumen El presente trabajo describe la experiencia que se tuvo al transformar la plataforma educativa Moodle, en una herramienta para medir el nivel de apropiación del idioma inglés entre los estudiantes del sexto semestre educación media superior y los conocimientos generales de los educandos de nuevo ingreso del nivel superior adscritos al Instituto Politécnico Nacional. En total se evaluaron a 34 mil alumnos en 3 etapas. Se seleccionó Moodle por ser una plataforma de código libre, lo que permitió modificar la arquitectura de la información y obtener un reporte por escuela, turno, grupo, alumno, además de conocer el promedio más bajo y alto. Estás acciones permiten dar un paso adelante en lo que se refiere a la evaluación diagnóstica. Palabras clave: Evaluación diagnóstica, evaluación de competencias, plataforma educativa moodle, efectividad, eficiencia. Artículo originalmente publicado en las actas del Cuarto Encuentro de Educación, Cultura y Software Libre «EDUSOL». Abstract The present work describes the experience that was had when transforming the educative platform Moodle, in a tool to measure the level of appropriation of the English language between the students of the sixth semester high school education and the general knowledge of the students of new entrance of the superior level attached to the National Polytechnic Institute. In total, 34 thousand students were evaluated in 3 stages. Moodle was selected because it was a free code platform, which allowed modifying the information architecture and obtaining a report by school, shift, group, student, as well as knowing the lowest and highest average. These actions allow us to take a step forward when it comes to diagnostic evaluation. Keywords: Diagnostic evaluation, evaluation of competences, moodle educational platform, effectiveness, efficiency. Cómo citar este artículo Sánchez, M. (2016). Moodle se transforma en una plataforma para evaluar competencias. Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías, 5(10), 32-40. Este documento tiene una licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional (CC BY-NC-ND 4.0). Usted es libre para compartir, copiar y redistribuir el material en cualquier medio o formato mientras respete los términos de la licencia. ---0--- 32 INTRODUCCIÓN En los últimos años la evaluación ha dejado de ser un instrumento informativo sobre el rendimiento académico, para transformarse en una herramienta que mide el esfuerzo de los aprendices, permite enfocar el avance a través de una serie de actividades productivas y dar una realimentación focalizada al ritmo de aprendizaje de cada aprendiz. Según Castañeda (2004), la forma tradicional de evaluar no permite fomentar el éxito académico y se necesita buscar nuevos sistemas para examinar con precisión el nivel de apropiación de los aprendices, además de determinar el nivel de certidumbre, componentes responsables del fracaso académico o, al menos, predictores del mismo. Por otro lado, tenemos los avances ya comprobados de las llamadas nuevas tecnologías de la información y comunicación que están modificando la forma de elaboración, adquisición y transmisión de conocimientos, al tiempo que brindan la posibilidad de renovar el contenido de los cursos y métodos pedagógicos. Actualmente, encontramos un número considerado de universidades, institutos y escuelas que han incursionado en la educación en línea, también son muchas las experiencias que confirman las ventajas de crear ambientes virtuales instruccionales, los cuales se caracterizan por fomentar el aprendizaje desde una visión mediacional cognitiva, tomar como base el conocimiento previo, promover la motivación intrínseca, desarrollar la metacognición y proponer nuevas formas de evaluar el conocimiento con reactivos que pueden programarse para medir competencias. Al respecto, Alburquerque (2002) cita una serie de características que toman en cuenta las plataformas gestoras del conocimiento para potencializar el desarrollo formativo, como son:  Estimulación multisensorial e interactividad.  Flexibilidad en la utilización (diferentes necesidades, intereses, estilos de aprendizaje).  Adecuación a un aprendizaje activo y autorregulado.  Facilidad de acceso a la información.  Gran poder de almacenamiento.  Producción y distribución de costos razonables.  Conexión y comunicación a través de redes. Es de subrayar que la mayoría de las plataformas cuentan con varias alternativas y herramientas para medir los diferentes ritmos de aprendizaje que pueden ser: autoevaluación, evaluación diagnóstica, continua y sumativa, utilizando para ello una serie de actividades que pueden ser medidas, y controladas, al tiempo que permiten calcular los porcentajes a través de la plataforma o por el profesor asignado. Por su parte, Instituto Politécnico Nacional (IPN), se propuso a transformar un gestor del conocimiento en un gestor de evaluación del aprendizaje, esta decisión se tomó cuando se propuso llevar a cabo una reforma académica en los planes y programas de estudio del nivel medio superior. De estas reformas sobresale impartir cursos curriculares de inglés, lo cual se vio reflejado en el incremento de horas para el estudio y práctica del idioma, que pasó de 180 horas distribuidas en los tres primeros semestres del nivel, a 600 horas a lo largo de los seis semestres del nivel medio superior, con lo que se busca cubrir Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 33 los contenidos y desarrollar las competencias establecidas para el nivel B2 del Marco Común Europeo. En esta Reforma Académica, también se propuso la impartición de materia en inglés para el nivel superior, lo que permitirá llevar a la práctica las cuatro competencias comunicativas de enseñanza del idioma y dar la opción a los egresados de contar con esta herramienta. Para hacer frente a este reto se tomaron una serie de acciones, desde la modificación del mapa curricular de ambos niveles educativos, el rediseño de planes y programas de la materia de inglés y, para conocer el nivel de conocimiento tanto de los estudiantes del nivel medio superior como de quienes ingresaban al nivel superior, se decidió transformar una plataforma educativa en un sistema de evaluación que permitiera medir de manera objetiva a cerca de 34,000 estudiantes. Uno de los problemas a enfrentar cuando se tomó esta decisión, fue el cómo medir las cuatro competencias comunicativas:  Comprensión de la lectura.  Comprensión auditiva.  Expresión oral.  Expresión escrita. Después de varias reuniones de análisis de los responsables del proyecto, se decidió que las habilidad de expresión y escrita expresión oral debían ser revisada por un profesor, lo que llevó a la propuesta de un diseño de evaluación que combinara las dos modalidades: en línea y presencial. La decisión fue que la plataforma evaluaría la comprensión tanto de la lectura y como la auditiva, además de prever que alumno redactará un pequeño texto, evaluado por un profesor asignado para calificar esta competencia. De igual forma se diseñó una guía para llevar a cabo el examen oral al final del examen en línea. La Primera Etapa consistió en evaluar, durante el mes de febrero de 2008, a 14 mil estudiantes Después de detectar la necesidad de evaluar con un sistema de gestión, el siguiente paso fue analizar las ventajas y desventajas de las llamadas plataformas educativas, tanto de código abierto como de autor. Se hizo especial énfasis en revisar los demos de aquellos gestores de conocimiento de código libre:  ATutor.  Claroline.  Ilias.  Moodle. Al revisarlos se constató que todos permiten adaptar los contendidos que pueden ser descritos mediante metadatos estándares para facilitar la reutilización, clasificación y mantenimiento de los recursos educativos que forman parte de dicho curso, así como su posible interoperabilidad con otros LMS. También se comprobó que todas estas plataformas facilitan la estructura de cursos bajo el modelo de paquetes del IMS, ya que tiene una estructura jerárquica en árbol, como se describe en el Content Packaging. Este formato simplifica la inclusión y definición de nuevas unidades temáticas en el curso; se pueden especificar diferentes estructuras con diversos niveles de dificultad; cada recurso o contenido puede ser descrito mediante metadatos y permiten la reutilización, clasificación y mantenimiento de los recursos didácticos, facilitando la interoperabilidad con otros entornos. Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 34 Se encontró que Moodle además de tener estas características, ofrece un menú llamado miscelánea que permite crear diferentes formas de evaluación, con una estructura básica para la representación de ítems que facilita la aplicación de exámenes, dentro de sus ventajas resalta la modificación de los atributos, lo cual facilita la combinación de preguntas, tiene también la capacidad de crear un banco de reactivos y generar los informes que pueden ser transferidos como bases de datos para su posterior interpretación. Por todas estas razones se decidió trabajar con la plataforma Moodle, y el siguiente paso fue comenzar a ver los requerimientos técnicos para la instalación de esta plataforma como son:  Servidor Linux.  Base de datos Postgres.  Soporte de Scripts Php.  Apache. Configurado el servidor se procedió a instalar la plataforma. Antes de comenzar el trabajo de traslado, fue necesario convocar a una reunión e iniciar una lluvia de ideas que guiará el rediseño de la arquitectura de la información, al tiempo que se establecieron niveles de navegación y la interfaz. Para tener un primer perfil del usuario a evaluar, se solicitó a las escuelas de nivel medio y superior, los siguientes datos:  Edad promedio.  Experiencia técnica en uso y manejo de cómputo e internet.  Género.  Contexto social y cultural.  Número de computadoras con las que se contaba para realizar el examen, capacidad en disco duro.  Características de la conectividad de cada escuela. Estos datos sirvieron de base para el rediseño de la arquitectura de la información, usabilidad y mapas de navegación. Adaptación del examen de inglés El examen aplicado fue una adaptación del Capel, Annette e Ireland, Sue (2003) Ket Practice Tests. Oxford University Press, España, que corresponde al nivel A2 del Marco Común Europeo. El instrumento de medición estuvo conformado por 60 ítems. Las secciones de expresión oral y expresión escrita fueron evaluadas por los profesores de inglés, de acuerdo con una rúbrica que se diseñó ex profeso y se publicó en la página oficial de la DEMS (Tabla No.1). Las competencias en la comprensión de la lectura y la comprensión auditiva las evaluó el sistema de manera automática. El tiempo establecido para que el alumno respondiera el examen fue de 50 minutos. Para adaptar el examen a la modalidad en línea se modificaron una serie de atributos en la plataforma, lo que permitió hacer las siguientes combinaciones: Evaluación de respuesta cerrada: Se proporcionaron una serie de respuestas para un enunciado dado, con el objeto de que se seleccionara la respuesta correcta. Las respuestas cerradas se presentaron en las siguientes modalidades: Elección múltiple. El estudiante eligió la respuesta correcta en los ítems: Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 35      Verdadero o falso. Varias opciones de respuesta. Respuesta múltiple. Asociación de conceptos. Complementación: Se completaron espacios en blanco, ofreciendo un panel de alternativas para cada espacio.  Completar espacios. Se solicitó completar espacios sin ofrecer opciones para ello. De los 12,721 estudiantes, sólo 420 tuvieron problemas de respuesta, lo que equivale a una insatisfacción del 3.30% (ver figura 1). Figura 1. Muestra el número de alumnos que respondieron el examen Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 36 Etapa posterior al examen A continuación se presenta el porcentaje de alumnos que respondieron cada una de las tres secciones del examen:  Primera parte: 46%  Segunda parte: 42%  Tercera parte: 12% Después de que los profesores terminaron de registrar las calificaciones de expresión oral y escrita en la plataforma, donde se encuentra alojado el examen, se logró identificar al estudiante que alcanzó el puntaje más alto, así como a quien obtuvo el más bajo, además de conocer el número total de alumnos aprobados:  La calificación global más alta fue de: 88.15  La calificación global más baja fue de: 0.68  El número de alumnos que aprobaron globalmente las tres secciones del examen fue de 1615.  La calificación más alta obtenida en la primera sección del examen fue de: 41 (de un máximo de 50) y la más baja de 0.  La calificación más alta obtenida en la segunda sección del examen fue de: 25 (de un máximo de 25) y la más baja de 0.  La calificación más alta obtenida en la tercera sección del examen fue de: 25 (de un máximo de 25) y la más baja de 0.  En virtud de la complejidad del examen y considerando que originalmente este fue diseñado para la obtención de una certificación internacional de dominio del idioma inglés Key English Test (Key) de la Universidad de Cambridge, y de acuerdo con los consultores académicos de Oxford University Press, se determinó que la calificación global mínima aprobatoria para las condiciones en las que el IPN aplicó el examen en línea sería de 40 sobre 100 (ver figura 2). Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 37 Figura 2. En la siguiente gráfica se muestra el porcentaje de alumnos aprobados por CECyT La plataforma también permitió conocer cuál escuela obtuvo el porcentaje de aprobación más alto así como los promedios más bajos. Después de la primera experiencia. Una vez recopilada toda la información arrojada por el examen, se evaluaron los problemas y se buscaron las posibles soluciones. Dentro de los reportes obtenidos, se manifestó que el reloj que cronometraba el examen -ubicado en la parte izquierda-, obstaculizaba la información. Otro reclamo, por parte de los profesores, fue la dificultad para localizar con facilidad el nombre del evaluado y la falta de manejo de éstos con el correo electrónico. 2ª aplicación del examen de evaluación Con la información obtenida se procedió a resolver los siguientes problemas. El reloj se cambió hacia el lado izquierdo, para impedir que se encimara con la información del examen. Se programaron grupos divididos por escuela y turno: matutino y vespertino, para facilitar la búsqueda de los alumnos. Este examen se aplicó en el mes de mayo a los estudiantes que habían reprobado el examen de febrero, en total participaron seis mil alumnos, de los cuales aprobaron solo el 18%. Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 38 En este examen se buscó: 1. Verificar la efectividad del examen: Determinando si los estudiantes eran capaces de responder 90 preguntas en 50 minutos. Lo que se obtuvo fue que un mayor número de alumnos respondieran las tres partes. 2. Se ratificó la eficiencia de la página: Se evaluó si el examen lograba ser accesible en computadoras con procesador Pentium 4, a una velocidad mínima de internet de 56 kbps. 3. La satisfacción del usuario: En lo concerniente al servicio proporcionado por la plataforma (relacionada con el tiempo en el que se envió la contraseña para acceso al examen y el tiempo de respuesta del web master), este se mejoró, ya que se informó con anticipación a los evaluados el proceso y pasos a seguir para su aplicación. 3ª aplicación del examen de evaluación En los primeros días de julio se aplicó el examen de diagnóstico a 14 mil estudiantes que acaban de ingresar a nivel superior. Los problemas detectados en las anteriores aplicaciones, se fueron solucionando con las experiencias adquiridas. Se dio mayor capacitación al personal involucrado en la aplicación del examen. Que el nivel superior contara con un mayor número de computadoras, facilitó el proceso de aplicación. Los estudiantes manifestaron menos problemas para acceder a la plataforma, ello como resultado del proceso de consulta, inscripción, llenado de solicitud y conocimiento del calendario de exámenes, que se les proporcionó vía internet. CONCLUSIÓN Después de esta experiencia, se logró comprobar que el uso de la plataforma Moodle transformada en una herramienta de evaluación, permite establecer un sistema de evaluación externo, objetivo y hasta cierto punto verifica el cumplimiento de los planes de clases al evaluar competencias y no solo conocimientos memorísticos, en el caso del idioma inglés fue posible medir las cuatro competencias comunicativas. La información arrojada permitió identificar las virtudes y fortalezas de cada escuela, turno y alumno e iniciar un proceso de mejora y calidad en la educación. Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 39 REFERENCIAS Castañeda, S. y Coordinadora (2006). Evaluación del Aprendizaje en el Nivel Universitario. Elaboración de Exámenes y reactivos objetivo. Ed. UNAM. De Andrés, A. (2002). Identification of Usability Descomposition (from Literature Survey and Industrial Experience). Ver.1.0 From STATUS Project. Hassan, Y. y Fernández F. (2000). Propuesta de adaptación de la metodología de diseño centrado en el usuario para el desarrollo de sitios Web accesibles. Universidad de Granada. Revista electrónica en Ciencias Sociales y Humanidades Apoyadas por Tecnologías. Vol. 5, Núm. 10, 32-40, 2016. Sánchez. Moodle se transforma en una plataforma para evaluar competencias. 40