Informe

Programa Enciclomedia

Marzo de 2008
Institucin evaluadora:
Facultad Latinoamericana de Ciencias Sociales, Mxico.

1/114
 TR1

Resumen Ejecutivo

Enciclomedia es una plataforma que busca enriquecer la experiencia en el aula poniendo

a la mano del maestro y del alumno, recursos educativos para hacerla ms significativa,
amena, participativa, e integral, a partir de la edicin digital de los Libros de Texto Gratuitos y
de la creacin de hipervnculos con una gran variedad de materiales presentados en diversos
formatos. De esta manera busca constituirse como un importante recurso didctico, con una
amplia gama de posibilidades para la investigacin, documentacin, retroalimentacin y
construccin del conocimiento, generando novedosos escenarios de aprendizaje y nuevas
rutas de acceso a la informacin, con la intencin de contribuir al fortalecimiento del logro
educativo en las escuelas primarias del pas.

La Secretara de Educacin Pblica encomend a los acadmicos de la Facultad

Latinoamericana de Ciencias Sociales, sede Mxico, la realizacin de una evaluacin en
materia de consistencia, resultados y diseo al Programa Enciclomedia.

Entre los meses de agosto de 2007 y marzo de 2008, profesores-investigadores de la

FLACSO-Mxico elaboraron dicha evaluacin tras una profunda revisin de documentos,
reportes, informes, investigaciones y otros insumos relacionados con la implementacin,
administracin y evaluacin de esta iniciativa coordinada por la Subsecretara de Educacin
Bsica de la Secretara de Educacin Pblica, adems del apoyo en la realizacin de
diversas entrevistas con los responsables del Programa y otros informantes clave.

Para este anlisis se llev a cabo un estudio de gabinete, cuya pauta metodolgica
estuvo definida por un conjunto de instrumentos entregados por el Consejo Nacional de
Evaluacin de la Poltica de Desarrollo Social 1.

1 Particularmente el documento Trminos de Referencia Uno (TR1) y Criterios generales para dar respuestas a las preguntas de la evaluacin de
consistencia y resultados y de diseo 2007 de los programas federales. (CONEVAL, 2007)

2/114
 TR1

Esta evaluacin se suma a otras que se realizaron al resto de los programas sociales del
gobierno federal, durante el periodo 2007-2008. En este marco, los evaluadores recibieron la
documentacin tcnica apropiada as como una capacitacin coordinada por CONEVAL y
desarrollada por especialistas de la Comisin Econmica para Amrica Latina (CEPAL).
NDICE DEL INFORME FINAL

Resumen Ejecutivo 02
ndice 03
Introduccin 04
Captulo 1. Diseo 05
Captulo 2. Planeacin Estratgica 41
Captulo 3. Cobertura y Focalizacin 55
Captulo 4. Operacin 63
Captulo 5. Percepcin de la poblacin objetivo 99
Captulo 6. Resultados 102
Captulo 7. Principales Fortalezas, Retos y Recomendaciones 107
Captulo 8. Conclusiones 109
Bibliografa 112

Anexos
Anexo I: Caractersticas Generales del Programa
Anexo II: Objetivos Estratgicos de la Dependencia y/o Entidad
Anexo III: Entrevistas y/o talleres realizados.
Anexo IV: Instrumentos de recoleccin de informacin.
Anexo V: Bases de datos de gabinete.
Anexo VI. Propuesta de Matriz de Indicadores
Anexo VII. Caractersticas de los indicadores (Matriz de Marco Lgico del Programa
Enciclomedia)
Anexo VIII Propuesta para los mecanismos de definicin de metas e indicadores.
Anexo IX. Factibilidad de los instrumentos propuestos para determinar y/o cuantificar la poblacin
potencial y/u objetivo
Anexo X. Poblacin atendida a nivel nacional desagregado por entidad federativa, componentes
y/o atributos 2006-2007

3/114
 TR1

Introduccin

Este estudio fue elaborador por:

Dr. Cristbal Cobo Roman
El presente documento expone los resultados de la Evaluacin
Lic. enRemes
Luca Fernanda MateriaTellode
de Diseo,
Meneses
Consistencia y Resultados, realizada entre agosto de 2007 y marzo de 2008Colaboradores
al Programa
Dra. Vernica Garca Martnez
Enciclomedia. La evaluacin tuvo el carcter de estudio de gabinete y Mtra.
fue desarrollada con
Aida Azuma Hiruma
base en el Modelo de Trminos de Referencia (TR1) definido por el Consejo Nacional de
Evaluacin de la Poltica de Desarrollo Social (CONEVAL).
En la realizacin del estudio se tuvo la oportunidad de analizar la Matriz de Marco Lgico
elaborada por el equipo coordinador del Programa, as como ms de 250 textos (ver anexos)
que contienen informacin sobre Enciclomedia, entre los que se incluyen documentos
normativos, documentos de trabajo, investigaciones y artculos, entre otros. De todos estos
materiales, las principales fuentes de informacin para la evaluacin del diseo del Programa
fueron: el Documento Base, el Libro Blanco, los Lineamientos de operacin del
Programa, as como algunos otros documentos normativos y las investigaciones de corte
evaluativo llevadas a cabo en diferentes momentos del desarrollo del Programa.
Enciclomedia es un programa innovador que incorpora a las aulas de 5 y 6 grados de
educacin primaria equipamiento y software educativo que, tomando como eje los Libros de
Texto Gratuitos, permite relacionar de manera hipertextual una serie de recursos didcticos
multimedia, que enriquecen las posibilidades de enseanza y aprendizaje. Los beneficios
potenciales de Enciclomedia son indiscutibles, pero para ser alcanzados deben garantizarse
una serie de condiciones en el diseo y la ejecucin del Programa.
La evaluacin desarrollada por la Facultad Latinoamericana de Ciencias Sociales es un
insumo que espera aportar elementos para la toma de decisiones informada, que contribuya
a fortalecer el Programa, en beneficio de la calidad de la educacin de los estudiantes de
educacin bsica de nuestro pas.

4/114
 TR1

Captulo I. EVALUACIN DEL DISEO.

Caractersticas del Programa

La presente evaluacin es desarrollada por la Facultad Latinoamericana de Ciencias

Sociales y contratada por la Direccin General de Evaluacin de Polticas de la Unidad de
Planeacin y Evaluacin de Polticas Educativas de la SEP.
El Programa Enciclomedia es coordinado por la Direccin General de Materiales
Educativos de la Subsecretara de Educacin Bsica de la SEP, quien opera y es
responsable del equipamiento tecnolgico, as como de su mantenimiento y actualizacin.
Participan tambin, la Direccin General de Formacin Continua de Maestros en Servicio
(instancia que define los lineamientos de la capacitacin y ofrece formacin a los
responsables en las entidades federativas de hacer llegar esta capacitacin a los docentes),
el Instituto Latinoamericano de la Comunicacin Educativa (institucin que desarrolla y
actualiza el software educativo), diversas empresas proveedoras para el equipamiento y
monitoreo, as como los Sistemas Educativos de las 32 entidades del pas.
Enciclomedia comenz su operacin en 2003, teniendo como objetivo general:
Contribuir a la mejora de la calidad de la educacin que se imparte en las
escuelas pblicas de educacin primaria del pas e impactar en el proceso
educativo y de aprendizaje, por medio de la experimentacin y la interaccin de
los contenidos educativos incorporados a Enciclomedia, convirtindola en una
herramienta de apoyo a la labor docente que estimula nuevas prcticas
pedaggicas en el aula para el tratamiento de los temas y contenidos de los
libros de texto (Documento Base).
El Fin definido en la Matriz de Marco Lgico es Contribuir a fortalecer los procesos de
enseanza aprendizaje con el uso de tecnologas de la informacin y la comunicacin y el
Propsito es Estudiantes de 5 y 6 grado de educacin primaria tienen acceso a
tecnologas de informacin y la comunicacin en los procesos de enseanza aprendizaje.
La poblacin objetivo del Programa son los alumnos y docentes de 5 y 6 de educacin
primaria de todo el pas. El universo de atencin son todas las aulas de estos grados
educativos, por lo que el Programa no focaliza por otro tipo de criterios (estados, regiones o
grado de marginacin). Los bienes y servicios que el Programa otorga a sus beneficiarios
son: equipamiento tecnolgico, software educativo que apoya la enseanza y el aprendizaje

5/114
 TR1

de los contenidos de los Libros de Texto Gratuitos y los Programas de Estudio de las
Asignaturas de 5 y 6 de primaria, as como capacitacin docente dirigida al mejor
aprovechamiento de los recursos tecnolgicos.
El presupuesto asignado al Programa para el ejercicio fiscal 2008 es de $4,937,053,131,
es decir, casi 22% ms que el asignado el ao anterior. Los apoyos que otorga el Programa
pueden definirse como equipamiento tecnolgico de aulas, capacitacin a docentes para el
uso y aprovechamiento de Enciclomedia y Software de Enciclomedia.
Hasta el momento el Programa Enciclomedia no est sujeto a Reglas de Operacin (en
adelante ROP), pero tiene su fundamento normativo en la Ley General de Educacin, el Plan
Nacional de Desarrollo y los Lineamientos de operacin del propio Programa, as como en
los Convenios de Colaboracin que ha firmado con cada una de las Entidades Federativas y
los contratos celebrados con sus proveedores.
La informacin fundamental del Programa puede consultarse en
http://www.enciclomedia.edu.mx, aunque cabe sealar que la pgina requiere actualizar sus
contenidos.
El Programa Sectorial de Educacin 2007-2012 seala que se trabajar en el Programa
de transformacin de Enciclomedia, por lo que se espera que el presente documento sea un
insumo que apoye dicha transformacin en beneficio de los alumnos de educacin bsica del
pas.

6/114
 TR1

1. El problema o necesidad prioritaria al que va dirigido el Programa est

correctamente identificado y claramente definido?

S. La necesidad que Enciclomedia atiende, de apoyar la enseanza con recursos

tecnolgicos, est sustentada en el Documento Base. El Programa Nacional de
Educacin 2001-2006 haca referencia a los insuficientes resultados obtenidos por los
alumnos en diversas evaluaciones y sealaba que el desarrollo de las nuevas tecnologas,
que transforma radicalmente el concepto mismo del libro, con la perspectiva de textos a la
medida y en lnea, constituye una oportunidad excepcional, congruente con la importancia
que los enfoques pedaggicos modernos conceden a la variedad de recursos
didcticos.(ProNaE 2001-2006, P.63) Asimismo, las evaluaciones disponibles evidenciaban
que los niveles de aprendizaje de los estudiantes de primaria y secundaria estaban muy lejos
de lo deseable2.
Por otra parte, el Libro Blanco3 no pone el nfasis en esta cuestin, sino en la necesidad
de abatir el rezago tecnolgico. La evidencia de diagnsticos como el elaborado por Incln 4
acerca de la disponibilidad y el uso de TIC 5 en las escuelas primarias y secundarias del pas, 6
document diferencias significativas entre los estados y entre las escuelas urbanas y
rurales en relacin con el acceso a las TIC. Asimismo, dio cuenta de la subutilizacin de
los equipos instalados en las escuelas.7
El hecho de que el Programa simultneamente ayude a resolver 2 problemas genera
algunas confusiones, por lo que se considera conveniente resaltar el objetivo general de
Enciclomedia, tal como se expresa en el Documento Base (ver pregunta N3).

2 Cfr. La calidad de la educacin bsica en Mxico, Informe Anual 2003, del INEE
y los resultados del Programa para la Evaluacin Internacional de
Estudiantes (PISA por sus siglas en ingls).
3 Fuente: SEP. Programa Enciclomedia. Libro Blanco. P.14 http://www.sep.gob.mx/work/appsite/Rendicion/Libbcoenc/A%20Libro%20Blanco
%20Enciclomedia%20v2.pdf

4 Incln, R. Diagnstico cuantitativo del contexto, disponibilidad y uso de las tecnologas de informacin y comunicacin (TIC) en la educacin bsica
y secundaria basado en el censo escolar 911 y su anexo de TIC as como otras fuentes nacionales de informacin: Evidencia para la toma de
decisiones (documento no publicado), Diciembre de 2003.
5 TIC: Nuevas Tecnologas de Informacin y Comunicacin
6 Informacin tomada en referencia al formato 911 y su anexo sobre TIC.
7 Fuente: Incln, R. (2003), citado por Holland, I. y otros. Informe de Evaluacin de Enciclomedia en Aprender ms y mejor, Fernando Reimers
(coord.). SEP, FCE, ILCE, Harvard Graduate School of Education, 2006.

7/114
 TR1

2. Existe un diagnstico actualizado y adecuado, elaborado por el Programa, la

dependencia o entidad sobre la problemtica detectada que sustente la razn de
ser del Programa?

No. Segn la informacin disponible, el Programa Enciclomedia no cuenta con

diagnsticos actualizados sobre la problemtica que atiende.
Parece sumamente relevante que un diagnstico adecuado y actualizado de la
problemtica a la que atiende el Programa incluyera, adems de informacin sobre el acceso
y uso de equipos de cmputo en la escuela, un anlisis del nivel de alfabetizacin
tecnolgica de alumnos, docentes y directivos (poblacin objetivo). La definicin de estos
indicadores permitira evaluar a mediano y largo plazo el impacto tecno-pedaggico que la
incorporacin de esta herramienta podra llegar a producir en el entorno educativo. Por otra
parte, un diagnstico de estas caractersticas debiese ser representativo de las diversas
regiones del pas y tipos de escuela (urbana, rural, indgena, cursos comunitarios).
Tampoco se han identificado documentos o estudios que sistematicen las prcticas
exitosas de incorporacin de Enciclomedia en la sala de clases, las diferentes tipologas de
usos que estudiantes y docentes hacen de esta herramientas o bien los niveles de
apropiacin que los diferentes usuarios generan sobre esta plataforma.
Sin embargo, en la revisin documental se identificaron algunos insumos que a modo de
referencia ofrecen algo de orientacin al respecto:
Primera Reunin Nacional del Uso de las Tecnologas de la Informacin y
Comunicaciones en Educacin Bsica: Programa Enciclomedia, Diagnstico y
Perspectivas. SEP. 13 Julio de 2007.
Ofrece antecedentes actualizados, pero nicamente sobre la operacin del Programa.
Justificacin del Programa de Informtica Educativa Enciclomedia. (Apartado
Necesidades y Problemticas). SEP. 5 Diciembre de 2003.
ste documento ofrece anlisis rescatables en cuanto a la problemtica, sin embargo
no se sustentan los planteamientos con diagnstico alguno.

8/114
 TR1

3. El Fin y el Propsito del Programa estn claramente definidos?

No. El Fin y el Propsito no se encuentran claramente definidos en la MML 8. El Fin en la

MML, plantea contribuir a fortalecer los procesos educativos de enseanza aprendizaje con
el uso de las tecnologas de informacin y la comunicacin. Sin embargo, el simple uso de
las TIC hace referencia al nivel ms bsico de la interaccin persona-tecnologa, y por lo
tanto no es suficiente para contribuir a este fortalecimiento en los procesos educativos. La
redaccin parece confusa ya que omite elementos como desarrollo de habilidades,
estimulacin de nuevas competencias, desarrollo de nuevas destrezas en relacin a la
incorporacin de las TIC en la sala de clases.
De igual modo, el Propsito se encuentra restringido al acceso a las tecnologas, sin
considerar que Enciclomedia debiera impactar en el aprendizaje de los contenidos
curriculares y desarrollar nuevas competencias. Esto no se restringe nicamente al acceso a
las TIC, sino que guarda relacin con un adecuado aprovechamiento de las tecnologas.
No obstante, el Propsito puede redactarse considerando los elementos que aporta el
Documento Base y otros textos del Programa. En el Documento Base se establece que el
objetivo general es Contribuir a la mejora de la calidad de la educacin que se imparte en
las escuelas pblicas de educacin primaria del pas e impactar en el proceso educativo y de
aprendizaje, por medio de la experimentacin y la interaccin de los contenidos educativos
incorporados a Enciclomedia, convirtindola en una herramienta de apoyo a la labor docente
que estimula nuevas prcticas pedaggicas en el aula para el tratamiento de los temas y
contenidos de los libros de texto. Este objetivo permite comprender hacia dnde se orienta
el Programa. Los Componentes que se presentan en el Documento Base (desarrollo del
Programa, capacitacin docente, equipamiento y evaluacin) contribuyen al logro de dicho
objetivo.

8 MML: Matriz de Marco Lgico (tambin se identifica en el documento como matriz de indicadores). NOTA: Los evaluadores realizaron una
actualizacin y revisin a las preguntas relacionadas con la MML, basndose en la ltima versin de la Matriz de Marco Lgico de Enciclomedia
entregada por los responsables de este Programa a los evaluadores el da 11.02.08

9/114
 TR1

4. El Fin y el Propsito corresponden a la solucin del problema?

No. Plantear que el equipamiento de dispositivos de informacin y comunicacin en el

aula, particularmente centrados en los aspectos de acceso y uso, son suficientes como
estrategias para incrementar los niveles de aprendizaje de los estudiantes carece de la
correspondencia y coherencia requerida, es decir, no es posible atribuir nicamente al rezago
tecnolgico las causas de los deficientes niveles de aprendizaje.
Por otra parte, es deseable que el diseo de la MML del Programa enfatice acciones,
estrategias e instrumentos que atiendan y especifiquen de qu modo se buscar que el uso
de las tecnologas contribuya a fortalecer los procesos de enseanza y aprendizaje, de
manera que efectivamente Enciclomedia apoye a los estudiantes en su insercin en la
sociedad del conocimiento y ample sus capacidades para la vida (Ver Plan Nacional de
Desarrollo 2007-2012, eje 3, objetivo 11).

10/114
 TR1

5. El Programa cuenta con evidencia de estudios o investigaciones nacionales

y/o internacionales que muestren que el tipo de servicios o productos que brinda el
Programa es adecuado para la consecucin del Propsito y Fin que persigue el
Programa?

S. Desde el inicio del Programa hasta la fecha se han llevado a cabo diversos estudios
acerca de Enciclomedia (ver Anexo V.a Evaluaciones Externas) que han destacado sus
fortalezas, logros y potenciales beneficios, al tiempo que han sealado debilidades, riesgos y
han propuesto recomendaciones para su mejora. Los estudios coinciden en reconocer las
ventajas de incorporar equipos de cmputo a las aulas, digitalizar los contenidos de los libros
de texto y vincularlos con materiales complementarios. Sin embargo, se han detectado
problemas en la planificacin, instrumentacin y control del Programa, que van desde fallas
en el equipamiento y dificultades para instalar el software hasta insuficiente capacitacin y
escaso aprovechamiento de los recursos para promover el aprendizaje. Cabe destacar que,
con excepcin del monitoreo desarrollado por el Centro de Estudios Educativos9, A.C., estos
estudios no se basaron en una muestra representativa de las escuelas del pas, por lo que
sus resultados no son generalizables, aunque aportan informacin para hacer ajustes que
mejoren el Programa y abren el camino para continuar explorando los temas que abordan.
El acercamiento a las evaluaciones realizadas permite suponer que los servicios y
productos que ofrece el Programa contribuyen al logro de sus objetivos, pero slo de
manera parcial. A cinco aos del inicio de Enciclomedia, es necesario seguir investigando
acerca de los avances del Programa, las dificultades que se enfrentan y el impacto que su
operacin ha tenido en los alumnos que hoy son beneficiarios. Es importante agregar que
Enciclomedia es un ejemplo de innovacin, es un programa pionero en su campo y, en ese
sentido, las evaluaciones de impacto sern fundamentales para establecer precedentes que
definan pautas tcnico-pedaggicas para optimizar futuras experiencias de incorporacin de
tecnologa en el saln de clases.

9 Los evaluadores no han podido acceder a reportes que resuman la intervencin del CEE en trminos de resultados finales o recomendaciones
generales en relacin al Programa Enciclomedia

11/114
 TR1

6. Con base en los objetivos estratgicos de la dependencia y/o entidad que coordina
el Programa, a qu objetivo u objetivos estratgicos est vinculado o contribuye el
Programa?

El Programa Sectorial de Educacin 2007- 2012 (SEP) estipula en su objetivo nmero 3, lo

siguiente: Impulsar el desarrollo y utilizacin de tecnologas de la informacin y la
comunicacin en el sistema educativo para apoyar el aprendizaje de los estudiantes, ampliar
sus competencias para la vida y favorecer su insercin en la sociedad del conocimiento.

Este objetivo est evidentemente relacionado con el Programa Enciclomedia y una de las
lneas de accin que dicho documento define es: realizar el programa de transformacin de
Enciclomedia, como parte de la estrategia de Disear un modelo de uso de las tecnologas
de informacin y comunicacin que incluya estndares, conectividad y definicin de
competencias a alcanzar.

12/114
 TR1

7. De lo anterior, analizar y evaluar si existe una relacin lgica del Programa con los
objetivos del Plan Nacional de Desarrollo.
El Programa efectivamente tiene una relacin lgica con los objetivos del PND. Este
documento rector establece como el tercero de sus 5 ejes la igualdad de oportunidades. El
objetivo 11 del eje Igualdad de oportunidades es Impulsar el desarrollo y utilizacin de nuevas
tecnologas en el sistema educativo para apoyar la insercin de los estudiantes en la sociedad del
conocimiento y ampliar sus capacidades para la vida, y para lograrlo una de las estrategias
(11.1) es Fortalecer el uso de nuevas tecnologas en el proceso de enseanza y el desarrollo de
habilidades en el uso de tecnologas de la informacin y la comunicacin desde el nivel de educacin
bsica.
Es claro que Enciclomedia contribuye con este objetivo, al promover el acceso y el uso de
tecnologas de cmputo en el aula para la enseanza de los contenidos curriculares. El PND,
al presentar la estrategia 11.1 seala que se fortalecern los programas que permitan utilizar
nuevas tecnologas para la enseanza de los planes de estudio. A travs de estos objetivos se
busca impulsar y mejorar los niveles de aprendizaje de los estudiantes.
Tambin para el logro del objetivo 11, antes enunciado, se propone la estrategia 11.2,
Impulsar la capacitacin de los maestros en el acceso y uso de nuevas tecnologas y materiales
digitales. En este caso, Enciclomedia a travs de su MML- considera como el componente
nmero 2 capacitacin otorgada a docentes en el uso de Enciclomedia de 5 y 6 grado de
educacin primaria.
El PND tambin tiene otros objetivos y estrategias que podran ser atendidos por Enciclomedia,
aunque actualmente no parecen estar siendo considerados. Se hace referencia a aquellos orientados
a promover la equidad. Destaca el Objetivo Nacional 6, Reducir significativamente las brechas sociales,
econmicas y culturales persistentes en la sociedad, y que esto se traduzca en que los mexicanos sean
tratados con equidad y justicia en todas las esferas de su vida, de tal manera que no exista forma alguna de
discriminacin; y el dcimo objetivo del eje 3, Igualdad de oportunidades, Reducir las desigualdades
regionales, de gnero y entre grupos sociales en las oportunidades educativas. Para que Enciclomedia
atienda a estos objetivos se requiere una atencin diferenciada y prioritaria a las escuelas con
mayores carencias.10 Por ltimo, Enciclomedia se relaciona, adems, con la calidad de la educacin,
con lo que contribuye al logro del Objetivo 9 del PND, en particular en lo que se refiere a sus
estrategias 9.2 y 9.3 (ver p. 182 a 185 del PND).

10 Esto requiere comprometer la participacin de las entidades federativas para asegurar las condiciones de aula lista en los espacios que an no
han sido equipados.

13/114
 TR1

8. Las Actividades del Programa son suficientes y necesarias para producir cada uno
de los Componentes?

No. Tal como se observa en diferentes apartados de esta evaluacin (ver Principales
Fortalezas, Retos y Recomendaciones en el Formato FORR01-07 o pregunta N79) el
aspecto de mayor cuidado que observan los evaluadores es que la MML no plasma ni en los
componentes ni en las actividades elementos que den garantas de que el factor
pedaggico est presente de manera adecuada en el diseo de este Programa. Atendiendo
que ste es un programa fundamentalmente orientado a contribuir a fortalecer los procesos
de enseanza aprendizaje con el uso de tecnologas de la informacin y comunicacin (Fin),
esta deficiencia resulta particularmente sensible.
A continuacin algunos ejemplos de ello:
El componente 2 plantea capacitacin otorgada a docentes cuenta con 2 actividades:
desarrollar contenidos para la capacitacin (2.1) y supervisar la capacitacin (2.2). Sin
embargo, dichas actividades ponen su nfasis nicamente en los aspectos cuantitativos y de
cobertura de dichas capacitaciones.
El componente 3 plantea actualizacin y mejora permanente de las tecnologas de
.Enciclomedia. Sus actividades correspondientes plantean: supervisar la pertinencia y
actualizacin de los contenidos y supervisar el cumplimiento de los estndares. Sin
embargo, se observa en estas actividades y sus respectivos indicadores y mtodos de
clculo que el nfasis est en cuantificacin de contenidos y porcentaje de estndares
cumplidos. Aspectos que poca relacin guardan con la descrita mejora permanente de las
tecnologas de .Enciclomedia.11
Todas estas omisiones identificadas hacen a los evaluadores pensar que las actividades
propuestas resultan insuficientes para asegurar el adecuado cumplimiento de los
componentes y ms an si se toma en cuenta el Fin del Programa.

11 A pasar de que la revisin pedaggica no se hace explcita en la MML, se sabe que el Programa s realiza una revisin pedaggica de los
contenidos del software educativo. Los evaluadores revisaron el documento Enciclomedia 2.0. Informe de evaluacin, de agosto de 2007. Sin embargo,
tampoco es claro que exista una definicin de los criterios de calidad o estndares que los materiales deban cumplir. En entrevista con los evaluadores,
la Mtra. Edith Bernldez manifest que el aspecto pedaggico del Programa se debe priorizar y privilegiar en el futuro (ver Anexo III).

14/114
 TR1

9. Los Componentes son necesarios y suficientes para el logro del Propsito?

No. Tal como se plantea en la pregunta N 3 la MML actual con que cuenta el Programa
estipula un Propsito que resulta particularmente acotado y restrictivo. ste es: Estudiantes
y docentes de 5 y 6 grado de educacin primaria tienen acceso a tecnologas de
informacin y la comunicacin en los procesos de enseanza aprendizaje. Como se explic
en su momento, este Propsito pone nfasis puntualmente al acceso de educandos y
educadores a las TIC. Por tanto, su alcance resulta insuficiente, si se toman en cuenta los
principales documentos que plantean las bases de Enciclomedia.
Dicho lo anterior, los tres componentes que posee la MML establecen bsicamente
atender los siguientes aspectos: 1) aulas dotadas con equipos; 2) capacitacin a docentes y
3) mejoras tecnolgicas al software/hardware de Enciclomedia; se identifica que estos
componentes tienen un alcance mayor que su Propsito, que es restrictivo al tema del
acceso tecnolgico.
En este sentido, se identifican problemas de jerarquizacin y organizacin de los
componentes en relacin con el Propsito dentro de la matriz, es decir, la estructuracin de
esta MML evidencia deficiencias en su lgica vertical y por tanto en su lgica interna.
Parece oportuno agregar que el Documento Base seala cuatro Componentes que
parecen estructurales para el xito de este Programa. Sin embargo, uno de ellos, el
relacionado con la evaluacin y el seguimiento, que se considera imprescindible para el
desarrollo del Programa, no fue recuperado al construir la MML y esta omisin pareciera
afectar la coherencia del instrumento (Ver Matriz Propuesta, Pregunta N12).

15/114
 TR1

10. Es claro y lgico que el logro del Propsito contribuye al logro del Fin?

No. Deficiencias en la redaccin y el contenido del Propsito y el Fin establecidos en la

MML hacen que no se pueda identificar una relacin clara y lgica entre ellos.
En primer lugar, se identifica que el Fin y el Propsito no guardan relacin con los
objetivos descritos en el Documento Base. Tal como se indic en la pregunta N 3, se omite
la necesidad de impactar en el aprendizaje de los contenidos curriculares y desarrollar
competencias no slo para el uso sino para el adecuado aprovechamiento de las
tecnologas.
Es importante sealar que el Propsito de la matriz no plantea referencia alguna a
contribuir a un aspecto sealado en el Fin, es decir, fortalecer los procesos de enseanza y
aprendizaje. Tal como se indic en la pregunta N3 el poner nfasis en el acceso de las TIC
(Propsito) parece impreciso e insuficiente, ya que responde a un aspecto no directamente
vinculado con el fortalecimiento de los procesos de enseanza aprendizaje (Fin). Desde el
momento que ste se concibe ms que como un mero programa de equipamiento
tecnolgico (ver Documento Base) es importante que esa visin quede concebida en la
MML de Enciclomedia y en sus componentes. Se recomienda revisar la redaccin para evitar
una interpretacin ambigua en relacin a dicho Fin. (Revisar el Anexo VI para ver la MML
Propuesta por los evaluadores).

16/114
 TR1

11. Considerando el anlisis y la evaluacin realizados en este punto, la lgica

vertical de la matriz de Indicadores del Programa es clara y se valida en su totalidad?
Es decir, la lgica interna del Programa es clara?

No. La lgica vertical de la MML, que hace referencia a la lgica interna del Programa,
no resulta adecuada, pues no se observa una relacin secuencial entre los distintos niveles
de objetivos. Es decir, no hay vnculos causales de abajo a arriba, que aseguren el
cumplimiento del Fin del Programa que es fortalecer los procesos de enseanza
aprendizaje.
Tal como se indic en la pregunta N 9, la forma en que se estructura la MML evidencia
deficiencias en su lgica vertical y por tanto en su lgica interna: desajuste en la
jerarquizacin de objetivos, as como ausencia de un componente y algunas actividades
necesarias para el logro del propsito definido en el Documento Base.
Los tres componentes que posee la MML que establecen bsicamente atender los
siguientes aspectos: 1) aulas dotadas con equipos; 2) capacitacin a docentes y 3) mejoras
tecnolgicas al software/hardware de Enciclomedia, no pueden ser considerados como
elementos pertinentes para atender el aspecto de acceso a las tecnologas (descrito en el
Propsito), que a opinin de los evaluadores se atiende (desde una perspectiva de
equipamiento) nicamente con el componente nmero 1.
De igual modo, el cumplimiento del ya descrito Propsito, no es garanta alguna de que
ello contribuir a alcanzar el Fin establecido. De igual modo, en la respuesta nmero 10 se
ampla esta idea en relacin a que la existencia de un problema de jerarquizacin entre Fin y
Propsito que tambin afecta la lgica interna de la matriz. Todo lo anterior da cuenta de
deficiencias en la lgica vertical y la lgica interna de la MML de Enciclomedia.
No obstante, al revisar el Documento Base, se observa mayor coherencia entre cada
uno de los niveles, por lo que se recomienda recuperar su estructura en el diseo de una
nueva versin de la MML.

17/114
 TR1

12. Si no es as, proponer los cambios que deberan hacerse en el diseo del Programa
y en su lgica interna. Estos cambios deberan reflejarse en la matriz de Indicadores
definitiva del Programa.

Partiendo de la base que el Programa Enciclomedia define como su Fin el contribuir a

fortalecer los procesos de enseanza aprendizaje con el uso de tecnologas de la
informacin y la comunicacin, los evaluadores estiman que tanto el Propsito como cada
uno de los Componentes debiesen ayudar al cumplimiento del mismo. Por tanto ms all de
atender cuestiones relacionadas con la brecha digital (es decir acceso, a travs del
Propsito y el Componente 1) y alfabetizacin digital (es decir uso, a travs del
Componente 2), los evaluadores estiman que es relevante contemplar elementos, acciones
y estrategias dentro del diseo de Programa que contribuyan a potenciar los procesos de
aprendizaje de quienes participarn de esta experiencia formativa. Es decir, aprovechando la
incorporacin de las TIC en el aula para lograr prcticas educativas que resulten ms
participativas, flexibles, dinmicas, integradoras, adaptadas a las transformaciones que la
sociedad hoy enfrenta y que, por ltimo, estimulen el aprendizaje contextual y colaborativo
entre profesor-alumno, pero tambin en el nivel alumno-alumno.
Adems, parece relevante incorporar nuevos elementos que describan con mayor
precisin qu tipos de habilidades tecnolgicas busca impulsar este Programa. De igual
modo, parece recomendable describir cules son las habilidades tecnolgicas ms
relevantes que este proyecto persigue, por ejemplo, buscar informacin, leer en lnea, utilizar
materiales multimedia en el proceso formativo, aprender a organizar y relacionar contenidos,
producir nueva informacin, generar conocimiento, compartir contenidos, entre otros.
Se aconseja retomar aquellos elementos del Documento Base de Enciclomedia que continan
siendo pertinentes en el momento actual, como su objetivo general y los cuatro Componentes que
dan estructura al Programa; hacer las reformulaciones del caso 12, y modificar la MML de acuerdo con
esta nueva informacin. Ser de gran utilidad apoyarse en herramientas como el rbol de problemas
y de objetivos, entre otros, y en los estudios que diversas instituciones han realizado sobre
Enciclomedia. Como orientacin para este proceso y, tal como lo solicita CONEVAL, se ofrece en el
Anexo VI una propuesta de MML, elaborada por evaluadores, que recupera los elementos centrales
del Documento Base.

12 Por ejemplo, ahora que el equipamiento se ha realizado en buena parte de las escuelas del pas, el nfasis se requiere en el componente de
capacitacin y en el de monitoreo, seguimiento y evaluacin.

18/114
 TR1

13. En trminos de diseo, existen Indicadores para medir el desempeo del

Programa a nivel de Fin, Propsito, Componentes y Actividades e insumos?

S. Existen Indicadores para cuantificar y medir el desempeo del Programa a nivel de

Fin, Propsito, Componentes y Actividades. No obstante, estos resultan insuficientes para
medir, determinar y calificar el grado de cumplimiento de los objetivos descritos en el Fin y el
Propsito indicados en la matriz y en algunos casos ni siquiera existe una relacin clara
13
entre el objetivo, el indicador y su medio de verificacin.

13 La matriz no cuenta con Insumos. Con respecto a esta ausencia, los informantes de la Unidad Responsable de administrar el Programa sealaron
que los medios de verificacin son equiparables a los Insumos, motivo por el cual stos ltimos no aparecen descritos como tales en la matriz.
(Fundamentacin detallada de las deficiencias de los Indicadores en la pregunta N 15).

19/114
 TR1

14. Todos los Indicadores son claros, relevantes, econmicos, adecuados y

monitoreables?
No. Al revisar el conjunto de indicadores se observa que muchos de ellos no ofrecen los
insumos necesarios para medir/evaluar lo planteado en el Propsito, Componentes o
Actividades de la MML. Destaca, una vez ms, la omisin de indicadores de orden
pedaggico y del impacto del Programa.
Nombre del Indicador Claro Relevante Econmico Adecuado Monitoreable
Porcentaje anual de estudiantes que por lo S No S No S
menos una vez a la semana utilizan
Enciclomedia
Porcentaje anual de estudiantes satisfechos S No S No S
con el funcionamiento de las aulas
Enciclomedia.
Porcentaje anual de aulas de 5o y 6o grado S S S S S
de educacin primaria equipadas con
Enciclomedia respecto al total de aulas de 5o
y 6o grado de educacin primaria.
Porcentaje anual de aulas de 5o y 6o grado No S S S S
de educacin primaria disponibles con
Enciclomedia respecto al total de aulas de 5o
y 6o grado de educacin primaria
beneficiadas con Enciclomedia.
Porcentaje anual de docentes de 5o y 6o S S S S S
grado, directivos y atps de educacin
primaria capacitados en el uso de
Enciclomedia.
Porcentaje anual de docentes de 5o y 6o S S S S S
grado, directivos y atps de educacin
primaria que concluyeron los trayectos
formativos en el uso de Enciclomedia.
Porcentaje de innovaciones desarrolladas No No No No S
para atender las necesidades anuales
detectadas para la actualizacin y mejora
permanente de las tecnologas de la
informacin y comunicacin en los procesos
de enseanza aprendizaje de Enciclomedia.
Porcentaje anual del cumplimiento de la S S S S S
instalacin tcnica programado vs. Ejercido.
Porcentaje de aulas que solucionaron sus No S S S S
fallas en el tiempo mximo.
Porcentaje anual de aulas que cuentan con la S S S S S
ltima versin del software de Enciclomedia.

Porcentaje de contenidos y materiales S S S S S

desarrollados para la capacitacin en el uso
de Enciclomedia.
Porcentaje anual de cumplimiento de las S S S S No
asesoras de docentes de 5o y 6o grado de
primaria en el uso de Enciclomedia.
Porcentaje de contenidos y materiales No No S No No
desarrollados.
Porcentaje de cumplimiento de estndares S S S S S
tcnicos del software desarrollado

20/114
 TR1

15. De no ser el caso, la institucin evaluadora, en coordinacin con el Programa,

deber proponer los Indicadores faltantes y necesarios para cada mbito de accin o
las modificaciones a los Indicadores existentes que sean necesarias.

Los Indicadores considerados no atienden aquellos aspectos relacionados con la calidad

de la enseanza y la calidad del aprendizaje, particularmente en cuanto al tema central del
Programa descrito en el Fin: alfabetizacin digital. De igual modo, se puede plantear que la
incorporacin de Indicadores orientados a determinar el porcentaje de uso de la
computadora no guarda relacin necesariamente con el desarrollo de habilidades educativas
(ejemplo: Indicador establecido para el Fin del Programa que plantea: Porcentaje de
utilizacin de la computadora para el desarrollo de habilidades educativas). Los Indicadores
no ofrecen informacin relacionada con el nivel y la calidad del aprendizaje, ni con las
competencias digitales desarrolladas por el pblico objetivo del Programa (alumnos y
docentes).
A continuacin se plantean algunos de los Indicadores que no se incluyen en la matriz
pero que son fundamentales para la medicin y valoracin del cumplimiento del Fin y del
Propsito del Programa:

Indicadores que determinen el grado de competencias desarrollado por los estudiantes.

Indicadores que determinen el cambio de prcticas pedaggicas.

Indicadores para identificar el tipo de uso y aprovechamiento que se hace de las

herramientas tecnolgicas.

Indicadores para identificar el impacto pedaggico y el grado en que se fortalecen los

procesos de enseanza aprendizaje.

Indicadores para conocer la calidad de las capacitaciones dadas a docentes, directivos y

ATP en el uso de Enciclomedia.

Indicadores para conocer el grado de satisfaccin de los usuarios (directores, docentes y

asesores tcnico-pedaggicos) a raz de la incorporacin de estas herramientas en la sala
de clase14.

(Revisar pregunta N79 y el Anexo VI, Propuesta de Matriz de Indicadores, elaborada por los
evaluadores).

14 La MML incluy un indicador de satisfaccin de estudiantes

21/114
 TR1

16. Los Indicadores incluidos en la matriz de Indicadores tienen identificada su lnea

de base y temporalidad en la medicin?

No. Los Indicadores incluidos en la MML no cuentan con fichas tcnicas y por lo tanto
carecen de lnea base y metas.

22/114
 TR1

17. El Programa ha identificado los medios de verificacin para obtener cada uno
de los Indicadores?
S. El Programa ha identificado los medios de verificacin para obtener cada uno de los
Indicadores. Al revisar los medios de verificacin indicados en la MML se identifica que stos
provienen particularmente de tres fuentes:
UPEPE: Cuestionario de contexto de la Prueba ENLACE 15,16 y reportes de la estadstica
educativa (elaborados por la DGPP).
Mesa de Servicios y Control de Calidad de Enciclomedia. Estos medios de verificacin son
los reportes en relacin a: Aulas Equipadas; Aulas penalizadas; Seguimiento de instalacin de
aulas; Fallas en aulas y Actualizacin de software.
Direccin General de Formacin Continua de Maestros en Servicio 17. Estos medios de
verificacin son los reportes en relacin a: Cobertura de capacitacin en Enciclomedia;
Estadstica de docentes, directores y atps que cumplieron con los trayectos formativos para
Enciclomedia por ao y grado; Balance anual de innovaciones para Enciclomedia; Desglose
de metas y cumplimiento anual de contenidos, materiales y lineamientos para la capacitacin
de docentes en la utilizacin de Enciclomedia por nivel en el ao; Desglose de metas y
cumplimiento anual de asesoras para docentes en la utilizacin de Enciclomedia por nivel en
el ao; Revisin de recursos de la versin actual y Cumplimiento de los estndares tcnicos
para el software de Enciclomedia.

Es importante plantear que en la evaluacin documental fue posible conocer las

caractersticas de la MSC en la que s se establecen elementos como: alcance,
procedimientos de reportes, mecanismos e instrumentos de medicin, actores involucrados e
informantes que generan dichos reportes. Sin embargo, si se toman en consideracin los
requerimientos y especificidades establecidos en el Anexo Dos del Oficio Circular
307.A.1593, SHCP, puede plantearse que no se cuenta con la informacin suficiente para
responder esta pregunta.
Por ltimo, se identifica una omisin de medios de verificacin que ofrezcan insumos directos
para identificar el impacto pedaggico del Programa, el grado de calidad con que se lleva a
cabo y fuentes adecuadas para medir elementos enunciados en la MML como la calidad de
las capacitaciones o de las innovaciones tecnolgicas, entre otros.

15 No fue posible acceder a la descripcin metodolgica del cuestionario de contexto de la prueba y sus antecedentes de confiabilidad estadstica.
16 Los evaluadores recomiendan a los responsables del Programa aprovechar todos los insumos que se pueden obtener de los diferentes
cuestionarios de esta prueba, y tambin contactar a quienes disean este instrumento para explorar adecuaciones de la herramienta en beneficio del
Programa.
17 El equipo coordinador del Programa entreg a los evaluadores un Plan General para la Formacin Continua de docentes, directivos y personal de
apoyo tcnico-pedaggico para la enseanza asistida por Enciclomedia (SEB, 2006), el cual plantea nicamente su definicin de normativas y
propuestas a realizar a futuro, pero no informacin relacionada con la metodologa para la recoleccin de informacin utilizable como medios de
verificacin.

23/114
 TR1

18. Para aquellos medios de verificacin que corresponda (por ejemplo encuestas), el
Programa ha identificado el tamao de muestra ptimo necesario para la medicin del
Indicador, especificando sus caractersticas estadsticas como el nivel de significancia
y el error mximo de estimacin?
No. En la matriz se describen diferentes medios de verificacin. Sin embargo, tal como
se seala en la respuesta anterior (N17) no ha sido posible acceder a una descripcin
detallada sobre sus caractersticas estadsticas (nivel de significancia y error mximo de
estimacin).
Con respecto al medio de verificacin utilizado para medir el Fin y el Propsito del
Programa, es decir la Prueba ENLACE, puede sealarse que en este instrumento se observa
lo siguiente:
No ha sido posible identificar informacin referente a las caractersticas de la muestra,
pues aunque la prueba ENLACE tiene un carcter censal, el instrumento que la MML
propone usar como fuente de verificacin es el Cuestionario de Contexto, que slo se
aplica en un nmero determinado de escuelas (se desconoce el tamao y los criterios de
seleccin de la muestra). Tampoco se han podido recabar mayores antecedentes
estadsticos sobre la aplicacin de este instrumento (nivel de significancia, ni margen de
error)18.
Por otra parte, los datos disponibles permiten suponer que la Prueba ENLACE19 deber
ser considerada como una de las fuentes de informacin para evaluar el impacto de
Enciclomedia en los aprendizajes escolares y no slo para medir el uso de las computadoras
en el aula.
Con respecto a las otras fuentes descritas como medio de verificacin:
Reportes de la Mesa de Servicios y Control de Calidad de Enciclomedia,
Informe de la Direccin General de Formacin Continua de Maestros en Servicio.
Reportes de la DGPP.

Puede plantearse que los evaluadores no cuentan con los insumos suficientes para
plantear comentarios metodolgicos en cuanto a la validez y confiabilidad de la informacin
recolectada. No hay antecedentes sobre el tamao ni los criterios para la seleccin de la

18 Fuente: http://www.ceides.org/enlace.htm; http://enlace.sep.gob.mx

19 La Prueba Enlace es un instrumento que mide conocimiento en espaol y matemticas. Sin embargo, resulta insuficiente para medir competencias
y nuevas prcticas de aprendizaje

24/114
 TR1

muestra, tampoco se cuenta con informacin sobre el nivel de significancia, ni del margen de
error de la informacin que ofrecen estos tres informes.
19. De qu manera el Programa valida la veracidad de la informacin obtenida a
travs de los medios de verificacin?

La matriz no especifica de qu manera el Programa valida la veracidad de la informacin

obtenida a travs de los Medios de verificacin. Sera deseable que cada Indicador
considerase ms de una fuente o Medio de verificacin, con el fin de contrastar y
complementar la informacin obtenida.
Los evaluadores estiman que parece particularmente relevante atender este aspecto en
relacin a los siguientes medios de verificacin:
Mesa de Servicios y Control de Calidad de Enciclomedia.
Informe de la Direccin General de Formacin Continua de Maestros en Servicio.

Durante los meses de elaboracin de esta evaluacin los investigadores responsables no

pudieron identificar de qu manera, o bajo qu procedimiento o proceso administrativo el
equipo a cargo de la direccin del Programa Enciclomedia valida la informacin que
recolectan estos medios de verificacin. No contar con prcticas de validacin o control de
la informacin obtenida por los medios de verificacin podra convertirse en una
vulnerabilidad sustantiva que comprometa el buen desempeo y la calidad de la
implementacin de Enciclomedia.
Si se toma en cuenta que la MSC es administrada por un ente externo a la SEP (es decir es
un proveedor particular que presta servicios a la institucin) y que mucha de la informacin
que sta reporta influye en aspectos relacionados con temas financieros (como la
penalizacin a proveedores por equipos sin funcionar) entonces ste se convierte en un
aspecto particularmente sensible que se recomienda atender con especial atencin y
diligencia.
Por otra parte, si efectivamente tal como suponen los investigadores- no se cuenta con instrumentos
ni profesionales a cargo de validar la veracidad de la informacin obtenida a travs de los Medios de
verificacin, ms evidente resulta entonces la necesidad de que el Programa cuente con un
componente de seguimiento y evaluacin (tal como se plantea en el Documento Base y se
sugiere en la Matriz Propuesta, ver pregunta N12 y en las preguntas N43 y 79).
Asimismo, para dar mayor transparencia a la operacin del Programa, se considera necesario incluir
en los medios de verificacin instrumentos que puedan ser de consulta pblica.

25/114
 TR1

20. Se consideran vlidos los supuestos del Programa tal como figuran en la matriz
de Indicadores?

S. Los Supuestos definidos en la MML se consideran vlidos, pues permiten identificar

los riesgos especficos para cada nivel de actividad. Se estima que estos Supuestos
representan riesgos reales, asociados a situaciones ajenas al control de la coordinacin
del Programa. Entre los principales supuestos de la MML se identifican elementos como
apoyo poltico; suficiencia presupuesta, compromiso de entidades federativas,
compromiso de los docentes y permanencia del currculo actual de educacin primaria.

Sin embargo, si se parte de la base que los elementos descritos en la actual MML omiten
aspectos sustantivos directamente relacionados con el fortalecimiento de los procesos
de enseanza aprendizaje (Fin) como los sugeridos en la pregunta N12 y en el Anexo
VI, es posible considerar que la incorporacin a posteriori de nuevos medios de
verificacin demandarn la tipificacin de nuevos supuestos ad hoc. Es decir, el
supuesto de que se contar con los adecuados instrumentos de control para evaluar el
impacto pedaggico y el desarrollo de habilidades tecnolgicas y nuevas competencias
en los educandos y educadores beneficiados con el Programa Enciclomedia. Bajo esta
lgica, se requeriran nuevos supuestos relacionados con la disposicin, el apoyo y los
recursos de las diferentes entidades relacionadas al Programa para incorporar este tipo
de mejoras en la MML de Enciclomedia.

26/114
 TR1

21. Considerando el anlisis y evaluacin realizado en este punto, la lgica horizontal

de la matriz de indicadores se valida en su totalidad?

No. La lgica horizontal de la matriz de Indicadores no parece lo suficientemente

consistente como para poder garantizar una medicin vlida y confiable de aquellos aspectos
cualitativos y cuantitativos que se buscan evaluar de este Programa. Tal como se describi
en los reactivos anteriores la matriz del Programa cuenta con insuficiencias en cuanto a los
Indicadores de impacto (particularmente pedaggico), puesto que no atienden todos los
aspectos sealados para los niveles de Fin, Propsito, Componente y Actividad.
Igualmente, la informacin acerca de los medios de verificacin plantea omisiones
importantes en cuanto a la definicin metodolgica de los instrumentos de medicin,
principalmente: validez, criterios para la seleccin de la muestra, informacin sobre el nivel
de significancia, margen de error de la informacin, entre otros. Es recomendable cuidar la
lgica horizontal en casos en los que se identifican ambigedades que pueden conducir a
errores posteriores.

27/114
 TR1

22. Si no es as, proponer los cambios que deberan hacerse a la lgica horizontal de la
matriz de Indicadores (Indicadores, medios de verificacin y supuestos).
Tomando en consideracin las inconsistencias en la lgica horizontal descritas
previamente (reactivo N 21) a continuacin se sugieren algunas propuestas al respecto.
Estas recomendaciones se elaboraron usando como referencia los contenidos de la
Propuesta de Matriz de Indicadores (Anexo VI), que a su vez se dise tomando como
pauta los lineamientos del Documento Base.
En primer lugar, se observan deficiencias en la redaccin del Fin, el cual no est
directamente relacionado con el Objetivo General del Programa20 (segn el Documento
Base) ni con los objetivos del Programa Sectorial y el PND. En trminos de lgica
horizontal parece ms relevante identificar el grado en que los estudiantes desarrollan
competencias para la vida apoyados en la apropiacin de las nuevas tecnologas, que el
utilizar como referencia nicamente el aspecto del uso de las TIC, el cual si se toma en
cuenta los documentos fundacionales- parece menos estratgico para el xito del Programa.
Aunque ya ha sido descrito previamente parece recomendable reiterar que la MML de
este Programa omite elementos de tipo pedaggico, relacionados con: el desarrollo de
habilidades en docentes y alumnos; el cambio de prcticas pedaggicas de los docentes; la
apropiacin del proceso pedaggico a travs de instrumentos que permitan al educando
hacer su aprendizaje significativo y que lo lleven a formarse de una manera acorde a las
necesidades y desafos que la sociedad actual enfrenta.
Por todo lo anterior, los evaluadores sugieren enfticamente incluir elementos
relacionados con la medicin, evaluacin y seguimiento de los procesos de aprendizaje
acompaados con nuevas tecnologas.
Nota: Se recomienda a los responsables del Programa aprovechar los insumos,
instrumentos, cuestionarios y resultados de estudios como: Are Students Ready for a
Technology-Rich World?: What PISA Studies Tell Us21 (OCDE, 2005)

20 Ver Documento Base.

21 http://www.oecd.org/document/31/0,2340,en_32252351_32236173_35995743_1_1_1_1,00.html. En la bibliografa del presente documento se
incluyen ms recomendaciones sobre el tema.

28/114
 TR1

23. La poblacin que presenta el problema y/o necesidad (poblacin potencial), as

como la poblacin objetivo estn claramente definidas?

S. En algunos documentos se establece como poblacin potencial a los maestros en

servicio (561,342 en primaria y 348,235 en secundaria registrados para el ciclo escolar 2005-
2006), alumnos de primaria (14,548,194) y secundaria (5,979,256), directivos escolares
(114,000) equipos tcnicos estatales (32), asesores tcnico-pedaggicos (10,000),
formadores de docentes, profesores y estudiantes normalistas, as como padres de familia 22.

La poblacin objetivo del Programa Enciclomedia est definida, en la mayora de los

documentos, como los maestros y alumnos de 5 y 6 de educacin primaria. Los
lineamientos de operacin establecen que Enciclomedia como un bien social deber llegar a
todos los maestros y alumnos de quinto y sexto grados de las escuelas de educacin
primaria, sin importar su condicin socioeconmica. 23

22La definicin de beneficiarios potenciales del Programa puede consultarse en el documento Lineamientos de operacin. SEP, septiembre de 2005.
23 Lineamientos de operacin. SEP, septiembre de 2005. p.4.
29/114
 TR1

24. El Programa ha cuantificado y caracterizado ambas poblaciones, segn los

atributos que considere pertinentes?
No. Los responsables del Programa hicieron llegar a los evaluadores informacin
proveniente de la Direccin General de Planeacin y Programacin, sobre el universo de
aulas de 5o y 6o ao de educacin primaria (reportadas como "aulas en uso). Segn los
datos de la DGPP: Aulas en uso quinto grado 63,011; Aulas en uso sexto grado 62,994; Aulas
en uso multigrado 55,191; la poblacin objetivo del programa debiera ser de un total de
181,196 (universo de aulas de 5 y 6 grados de educacin primaria en el Sistema Educativo
Nacional). Si bien esta informacin no pudo revisarse de primera fuente (slo se accedi a
los datos aqu expuestos) estos antecedentes cuantitativos describen el universo total de
unidades de atencin de 5, 6 y multigrado al cual el Programa debiese atender24.
Sin embargo, no se encontraron avances en materia de caracterizacin de la poblacin
objetivo, es decir, no se cuenta con una descripcin de las caractersticas de los docentes y
alumnos que usan Enciclomedia. Es importante mencionar que la caracterizacin permitira
adecuar los materiales a las necesidades de los usuarios, si se considerara, entre otros
aspectos, sus resultados en pruebas estandarizadas de logro educativo y su nivel de
alfabetizacin tecnolgica.
Finalmente, conviene sealar que el Programa requiere de un sistema de informacin
abierto25 que permita a todos los responsables acceder oportunamente a los datos que
requieren. Es probable que hasta ahora no se est aprovechando la informacin disponible.
Por ejemplo, si se analizan los datos sobre la asignacin de los docentes a un grado escolar,
se identifica que sta tiende a cambiar de un ciclo escolar a otro, y por lo tanto es probable
que los docentes capacitados durante el ciclo escolar anterior hoy no estn atendiendo 5 y
6 de primaria, y quienes ahora atienden estos grados no cuenten con la capacitacin que
requieren.

24 Antecedentes vlidos para el periodo 2006-2007 (DGPP). Para ms informacin, ver pregunta N51 y Evaluacin Programtica de SISEVAL de
diciembre de 2007.
25 En la operacin de Enciclomedia participan varias direcciones generales de la SEP, el Instituto Latinoamericano de la Comunicacin Educativa, los
Sistemas Educativos Estatales, y diversas empresas que proveen el equipamiento y el monitoreo de la operacin.

30/114
 TR1

25. Cul es la justificacin que sustenta que los beneficios que otorga el
Programa se dirijan especficamente a dicha poblacin potencial y objetivo?*

La Secretara de Educacin Pblica ha destacado en diversos foros nacionales e

internacionales, que es una necesidad del Sistema Educativo Nacional y parte de la
respuesta ante el gran reto de buscar la calidad en la educacin, incorporar tecnologas de
vanguardia al proceso de enseanza-aprendizaje. Al respecto el Plan Nacional de Desarrollo
es claro cuando incorpora como uno de sus objetivos el impulso a las nuevas tecnologas
en el Sistema Educativo para apoyar la insercin de los estudiantes en la sociedad del
conocimiento y para ampliar sus capacidades para la vida (ver PND p. 187).
No obstante, los evaluadores no tuvieron acceso a un sustento documental que
fundamente puntualmente la decisin de orientar los primeros esfuerzos de Enciclomedia a
los alumnos y docentes de 5 y 6 de primaria (poblacin objetivo). La seleccin de la
poblacin potencial puede encontrar su justificacin (como se seala en la respuesta a la
pregunta N1) en los bajos resultados obtenidos por los estudiantes de primaria y secundaria
en diversas pruebas de logro acadmico, as como en la insuficiente y desigual
infraestructura tecnolgica en las escuelas de educacin bsica.

31/114
 TR1

26. La justificacin es la adecuada?

No. La justificacin que se da no es suficiente, pues tambin tendra que incluir
argumentos en relacin con las capacidades potenciales de los alumnos para el manejo de
nuevos lenguajes (multimedia) y nuevas herramientas tecnolgicas. Los estudiantes de los
grados anteriores (1 y 2, 3 y 4) se encuentran en una etapa de desarrollo inicial donde
comienzan a acercarse a los cdigos formales de la lengua castellana y de las matemticas.
El estadio de pensamiento concreto en que se ubican no les permite an construir
abstracciones y acceder a niveles de generalizacin.
La capacidad logstica, operativa y econmica haca imposible desarrollar un proyecto
que abarcara desde el principio a la totalidad de la poblacin potencial por lo que del
universo posible haba que seleccionar a la poblacin objetivo. Decidir comenzar por el 3er
ciclo (5 y 6) de educacin primaria enfoca la atencin a un sector de poblacin que se ubica
en una etapa de transicin al pensamiento formal, lo que les permite alcanzar la apropiacin
de nuevos lenguajes, de distintas formas de comunicacin y de novedosas estructuras
discursivas, que la sociedad de la informacin y el conocimiento requieren. Adems,
iniciando por este sector de la poblacin escolar la posibilidad de darle continuidad al
proceso en su ingreso a la educacin secundaria era mayor.
En la presente etapa del Programa conviene hacer el ejercicio de redefinicin de la
poblacin objetivo, analizando la informacin disponible para decidir si el Programa debe
ampliarse a atender otros grados o niveles y con qu criterios debe orientarse su
crecimiento.
De contemplarse esta sugerencia, es pertinente tomar en consideracin que no todas las
tecnologas (Enciclomedia, en este caso) son necesariamente adecuadas para promover el
aprendizaje de manera homognea para todas las edades, perfiles, ni para la enseanza de
todo tipo de contenidos.

32/114
 TR1

27. Los criterios y mecanismos que utiliza el Programa para determinar las unidades
de atencin (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los
adecuados? (Sealar principales mecanismos).

No. Como se dijo anteriormente (ver respuesta a la pregunta N24) las unidades de
atencin no se encuentran adecuadamente caracterizadas, y por lo tanto es difcil definir
criterios claros para avanzar en la cobertura. Sin embargo, s existe una serie de
lineamientos para determinar si las aulas tienen las especificaciones tcnicas adecuadas
para la instalacin de Enciclomedia. Los Lineamientos de operacin sealan que Se tiene
contemplado que la totalidad de las aulas de 5 y 6 grado de las escuelas pblicas de
educacin primaria cuenten con la infraestructura necesaria para el despliegue y uso de
Enciclomedia. Sin embargo, no se indican pautas para lograr que estas condiciones se
alcancen.
La incorporacin de las escuelas se ha normado de acuerdo con los siguientes Criterios
de participacin:
La autoridad educativa estatal elaborar el programa de trabajo detallado en
coordinacin con la Secretara de Educacin Pblica (SEP), para incorporar a las escuelas
que cuenten con las caractersticas de Aula Lista
La autoridad educativa estatal realizar las acciones necesarias para adecuar las
aulas de 5 y 6 grado que sern equipadas
La incorporacin de la dotacin de Enciclomedia se realizar en las aulas que
renan los requerimientos para garantizar la instalacin, el funcionamiento y la seguridad de
los equipos
Los maestros de 5 y 6 grado cuya aula haya sido equipada con Enciclomedia
debern participar en las acciones de formacin continua, estatales y nacionales para la
enseanza asistida por Enciclomedia.26

Estos antecedentes permiten suponer que el crecimiento de Enciclomedia se ha dado de

manera prioritaria en aquellas entidades en las que se cont con mayor compromiso de las
autoridades locales para apoyar el Programa. Sin embargo, no se cuentan con mayores
insumos sobre este tema.

26 Lineamientos de operacin. SEP, septiembre de 2005. p.5 y 6.

33/114
 TR1

28. Existe informacin sistematizada y actualizada que permita conocer quines

reciben los apoyos del Programa (padrn de beneficiarios), cules son las
caractersticas socio-econmicas de la poblacin incluida en el padrn de
beneficiarios y con qu frecuencia se levanta la informacin?

Si. Segn el equipo coordinador del Programa, existe un padrn de beneficiarios27, sin
embargo, los evaluadores no han podido tener acceso a dicho documento. En cuando a la
informacin sistematizada de quienes resultan beneficiarios del Programa no se cuenta con
una descripcin de las caractersticas socio-econmicas de la poblacin incluida, pues las
nicas caractersticas diferenciadoras de la poblacin objetivo es que sean: maestros y
estudiantes de 5 y 6 grado de las escuelas pblicas de educacin primaria. Por este
motivo, el Programa cuenta con fuentes de informacin que ofrecen antecedentes
bsicamente cuantitativos de cobertura como los que describen en la pregunta N51 (Ej.:
Mesa de Servicios y Control de Calidad, Estadstica Bsica del Sistema Educativo Nacional,
Direccin General de Formacin Continua de Maestros en Servicios, Sistema de
Seguimiento y Evaluacin, entre otras).
En trminos de informacin actualizada sobre los beneficiarios del Programa se cuenta
con la posibilidad de incluir la informacin del cuestionario de contexto28 de la Prueba
Enlace que se aplica una vez al ao (incluida en la MML). Sin embargo, aunque se
identifican los beneficios de incluir informacin de esta herramienta los evaluadores no han
podido tener acceso a este instrumento para analizarlo en ms detalle.

27 Por las caractersticas del Programa este padrn correspondera a las aulas atendidas identificadas con Clave de Centro de Trabajo (CCT).
28 Ver ms informacin en http://www.enlace.sep.gob.mx/content/view/86/114/
34/114
 TR1

29. El diseo del Programa se encuentra correctamente expresado en sus ROP o

normatividad correspondiente?

No. Tal como han indicado los responsables del Programa, ste no cuenta con Reglas de
Operacin (ROP). Sin embargo, en el oficio No. DPE/222/07 de la Direccin General Adjunta
de la DGME se recomienda tomar como referencia de la normatividad del Programa los
siguientes documentos: Lineamientos de Operacin del Programa Enciclomedia (SEP,
2005); un ejemplo de Convenio de Coordinacin para la operacin del Programa
Enciclomedia entre una entidad federativa y la SEP; un prototipo de Contrato Multianual de
Prestacin de Servicios. A continuacin una descripcin de su contenido.
En el documento Lineamientos de Operacin del Programa Enciclomedia (SEP, 2005) se
estipula una breve descripcin de elementos como: cobertura, criterios de participacin,
funciones de los ejecutores y de la coordinacin institucional del Programa, instancias
normativas, descripcin de procesos, mecanismos de formacin continua, equipamiento,
evaluacin, difusin, auditora, control y seguimiento,
En el Convenio de Coordinacin para la operacin del Programa Enciclomedia entre una
entidad federativa y la SEP se enuncian clusulas normativas relacionadas con:
responsabilidad de los actores, actividades (como por ejemplo instalacin de equipos,
capacitacin, seguimiento), cobertura, entre otros.
Contrato Multianual de Prestacin de Servicios en el que se indican los trminos de
responsabilidad y alcances en la relacin contractual entre la SEP y una empresa privada
que se compromete a ofrecer servicios relacionados con equipamiento tecnolgico para el
Programa y reportes relacionados con su gestin.
Los documentos aqu referidos establecen normativas relacionadas con la operacin del
Programa y la participacin de algunos de sus actores. Sin embargo, tal como se indic,
estos no pueden ser considerados como ROP.

35/114
 TR1

30. Existe congruencia entre las ROP o normatividad aplicable del Programa y su
lgica interna?
No. Si se toma en consideracin lo descrito en la pregunta anterior (N29), donde se
indica que el Programa no cuenta con ROP, entonces no es posible plantear que exista una
congruencia con la lgica interna del Programa Enciclomedia.
Por otro lado, en la pregunta N11 se explica que existen deficiencias en la jerarquizacin
y definicin de los objetivos planteados en la MML. En trminos generales, tal como se ha
explicado en preguntas anteriores los problemas descritos en relacin a la estructura y
definicin de los elementos de la Matriz afectan la definicin de sus objetivos, componentes y
actividades. Todos estos aspectos repercuten en una insuficiente la lgica interna del
Programa.
Sin embargo, al analizar los documentos utilizados como referencia para analizar la
normativa de este Programa (ver pregunta N29), es decir: Lineamientos de Operacin del
Programa Enciclomedia, Convenio de Coordinacin y Contrato Multianual de
Prestacin de Servicios, s es posible identificar congruencia entre estas fuentes y el
diseo del Programa expresado en el Documento Base.
Al revisar los referidos documentos puede plantearse que esta congruencia se identifica,
en trminos generales, en los cuatro componentes del Documento Base: Desarrollo de
Enciclomedia, Formacin de docentes y apoyo pedaggico, Equipamiento de aula y
Evaluacin y Seguimiento.
Los evaluadores recomiendan que el Programa priorice la importancia de elaborar y
publicar Reglas de Operacin, que establezcan e integren las diferentes normativas y
regulaciones que una iniciativa de estas caractersticas y magnitud necesita. Al respecto, se
sugiere tomar en consideracin los modi operandi de los actores involucrados en este
Programa al momento de elaborar esta normativa.

36/114
 TR1

31. Como resultado de la evaluacin de diseo del Programa, el diseo del Programa
es el adecuado para alcanzar el Propsito antes definido y para atender a la poblacin
objetivo?

No. Al analizar los elementos descritos en el objetivo general del Programa

Enciclomedia (ver Documento Base, p.10), que hacen referencia a la mejora cualitativa en
el proceso educativo (se habla de calidad de la educacin; impactar en el proceso
educativo y de aprendizaje y convirtindola en una herramienta de apoyo a la labor
docente), se puede plantear que las caractersticas del diseo del Programa (ver N30) no
estn relacionadas de manera adecuada con la estructura de la MML.
Dicho de otro modo se identifica que los Componentes y Actividades descritos en la
MML son insuficientes y poco pertinentes en relacin al diseo del Programa
(particularmente en relacin al objetivo general aqu descrito). Situacin similar ocurre con
los Indicadores que dan cuenta de manera espuria del grado de cumplimiento del
Propsito del Programa. Esta informacin ha sido descrita con mayor detalle en preguntas
anteriores (Ej: N3, N4, N9 y N10, entre otras).
Tal como se ha indicado previamente, el Documento Base y los Lineamientos de
Operacin de Enciclomedia aportan elementos para construir una nueva versin del diseo
del Programa que sea congruente con su objetivo general y aporte elementos para mejorar
su gestin.

37/114
 TR1

32. Con cules programas federales podra existir complementariedad y/o sinergia?
Los principales programas federales con los que podra existir complementariedad y/o
sinergia con Enciclomedia, por el hecho de incorporar las nuevas tecnologas de informacin y
comunicacin en contextos de aprendizaje, se presentan a continuacin:
Telesecundaria. Modelo educativo basado en las transmisiones televisivas, creado en 1966 y
que posteriormente impuls la creacin de los Telebachilleratos. Instituto Nacional de
Educacin para los Adultos (INEA). Creado en 1982 orientado a la alfabetizacin a distancia y
que ha empleado paquetes didcticos integrados por impresos, programas de radio y televisin.
Programa de Educacin a Distancia (PROED). Creado en 1996, dirigido tanto a docentes
como alumnos de todos los niveles del Sistema Educativo Nacional, cuyo objetivo ha sido
impulsar el aprovechamiento de los medios informticos en apoyo a la educacin. Red Escolar
de Informtica Educativa (Red Escolar). Sistema de informacin y comunicacin basado en
Internet, cuyo objetivo es contribuir a mejorar la calidad de la enseanza y enriquecer el acervo
de informacin. Red Satelital de Televisin Educativa (Red Edusat). A travs de 16 canales de
televisin y transmisin satelital se realiz la produccin, programacin y transmisin de
materiales audiovisuales educativos (ms de 30,000 antenas receptoras). Videoteca Nacional
Educativa (VNE). Creada en el 2000, esta videoteca fue fundada con la idea de almacenar y
distribuir materiales audiovisuales y multimedia en diversos formatos y soportes educativos.
Educacin Media Superior a Distancia (EMSAD). Programa creado en 1997, busca
aprovechar la infraestructura educativa y tecnolgica existente en instituciones educativas.
Programa SEC21. Se cre en 1999 para posibilitar al estudiante acceder y aprovechar las redes
EDUSAT y Escolar. Secundaria a Distancia para Adultos (SEA). Creada en el 2000, es un
programa dirigido a la poblacin mexicana mayor de 15 aos interesada en cursar y obtener el
certificado de ese nivel educativo. Sistema e-Mxico. Proyecto creado en el 2001 para
desarrollar acciones orientadas a disminuir la brecha digital, ha impulsado la creacin de ms de
7 mil centros comunitarios digitales. Corporacin Universitaria para el Desarrollo de Internet
2 (CUDI). Creada en 1999, su objetivo es fortalecer la conectividad de banda ancha entre
instituciones educativas y facilitar la interaccin para impulsar, la docencia, investigacin y
extensin.

Desde luego tambin existe complementariedad con el nuevo modelo de uso de las TIC que en
este momento se desarrolla en la SEB, en congruencia con el Objetivo tres del Programa
Sectorial de Educacin 2007-2012.

38/114
 TR1

33. Con cules programas federales podra existir duplicidad?

Dadas las caractersticas de este Programa y la filosofa incluyente de la plataforma

tecnolgica de Enciclomedia, no se identifican programas federales con los que exista
duplicidad. Por el contrario, es posible plantear que Enciclomedia fue diseada y puesta en
marcha con el objetivo de potenciar aquellos recursos multimedia y objetos de aprendizaje ya
existentes, a travs de un formato digital que facilita su acceso, uso y distribucin en el
entorno de las escuelas pblicas de educacin primaria del pas. De igual modo, la
incorporacin de esta herramienta permite apoyar la labor docente para el tratamiento de los
contenidos de los libros de texto gratuito.

La lgica inclusiva de este Programa desde sus inicios plantea la necesidad de

aprovechar e integrar recursos y experiencias de otros proyectos de la SEP eficazmente
probados: Red Escolar, SEPiensa, Biblioteca Digital, SEC 21, Enseanza de la Fsica con
Tecnologas (EFIT) y Enseanza de las Matemticas con Tecnologas (EMAT), entre otros 29.
El Libro Blanco de Enciclomedia (2006) hace referencia tambin a la incorporacin de
recursos y contenidos a Enciclomedia proveniente de los siguientes programas: Red
Edusat; Red Escolar; Videoteca Nacional Educativa; Enseanza de las ciencias y las
matemticas con tecnologa; Proyecto SEC XXI, SEPiensa y TV Educativa30.

Sin embargo, es conveniente analizar la posibilidad de que en la prctica s se estn

presentando algunas duplicidades. Por ejemplo: Subutilizacin de las capacidades cognitivas
de los docentes y ATP en los mismos centros educativos; duplicacin de la inversin en
tiempo y costos en la capacitacin y recursos pedaggicos (manuales) empleados para el
entrenamiento de los funcionarios; elaboracin redundante de nuevos recursos pedaggicos
y objetos de aprendizaje en diferentes programas de educacin; implementacin duplicada
de centros de soporte tcnico con recursos humanos y tecnolgicos descoordinados para
atender seguimiento, mantenimiento y conservacin de las diferentes tecnologas de
informacin y comunicacin que se utilizan en cada uno de estos programas.

29 Fuente: Subsecretara de Educacin Bsica y Normal. 2004. Programa Enciclomedia: Documento Base. Disponible en:
http://www.sep.gob.mx/work/appsite/Enciclomedia/documentonciclomedia.pdf
30 Fuente: Secretara de Educacin Pblica. Octubre 2006. Programa Enciclomedia: Libro Blanco. Disponible en:
http://www.sep.gob.mx/work/appsite/Rendicion/Libbcoenc/A%20Libro%20Blanco%20Enciclomedia%20v2.pdf

39/114
 TR1

34. El Programa cuenta con informacin en la que se hayan detectado dichas

complementariedades y/o posibles duplicidades?

No. El Programa no cuenta con informacin en la que se evidencian las

complementariedades de Enciclomedia con otros programas y recursos ya existentes.

En cuanto a las posibilidades de duplicidad existentes entre Enciclomedia y otros

programas, no se cuenta con informacin al respecto (en el reactivo N33 se sugieren
posibles esfuerzos duplicados entre ste y otros programas). En entrevista con los
responsables del Programa, se inform a los evaluadores que no existen documentos que
analicen, estudien o exploren las potencialidades de dichas complementariedades.

Sera recomendable que el Programa pudiese contar con insumos e informes que diesen
cuenta de la existencia de coordinacin o, en su caso, descoordinacin entre los diferentes
programas del sistema educativo, con el fin de identificar hasta qu grado se busca la
articulacin entre las diferentes iniciativas y programas. Por ejemplo, entre Enciclomedia y
PRONAP, Escuelas de Calidad, Enlace, Libros del Rincn, EFIT y EMAT, por mencionar
algunos.

40/114
 TR1

2.2 PLANEACIN ESTRATGICA

2.2.1 Los mecanismos y herramientas de planeacin estratgica
35. El Programa cuenta con planes estratgicos actualizados de corto, mediano y largo
plazo?

No. El Programa no cuenta con planes estratgicos que proyecten acciones al corto,
mediano y largo plazo. Sin embargo, en el Libro Blanco y en el Documento Base se
establecen cuatro componentes estructurales que son determinantes para llevar a cabo los
objetivos propuestos en el Programa, que han guiado la instrumentacin de sus acciones y
son: a) desarrollo de Enciclomedia, b) formacin de docentes y apoyo pedaggico, c)
adecuacin y equipamiento de aulas d) seguimiento y evaluacin.
Puede decirse que el Programa se inserta dentro de los planes estratgicos del
Sector, expresados en el Programa Sectorial de Educacin 2007-2012 (cuyos
objetivos tienen una alineacin con el Plan Nacional de Desarrollo 2007-2012) y
tambin en otros documentos internos como los que genera el SISEVAL y los
Planes Anuales (para el corto plazo).
El Objetivo 3 del Programa Sectorial de Educacin es Impulsar el desarrollo y
utilizacin de tecnologas de la informacin y la comunicacin en el sistema
educativo para apoyar el aprendizaje de los estudiantes, ampliar sus
competencias para la vida y favorecer su insercin en la sociedad del
conocimiento. A este objetivo corresponden cuatro indicadores, de los cuales dos
tienen relacin con Enciclomedia y otros programas afines de educacin bsica.
Uno de estos objetivos se relaciona con aulas equipadas y el otro con capacitacin
de docentes. Sin embargo, no existen en el Programa Sectorial indicadores
vinculados con los componentes de desarrollo y seguimiento del Enciclomedia.
Respecto a las estrategias y lneas de accin establecidas por el Programa
Sectorial, se plantea la transformacin de Enciclomedia en el marco del diseo de
un modelo de uso de las... (TIC) que incluya estndares, conectividad y definicin
de competencias a alcanzar. La especificacin en relacin a las caractersticas
que tendr esta transformacin de Enciclomedia no se encuentra an en ningn
documento oficial de la institucin.
El SISEVAL da seguimiento a una meta del Programa y el Programa Anual 2008 (PA 2008)
de la SEP considera Enciclomedia como una de las actividades prioritarias de la DGME. Sin

41/114
 TR1

embargo, este documento (PA 2008) define fin, propsito, componentes y actividades que no
coinciden con los de la MML. 31

31 En reunin con el equipo coordinador, el 4 de marzo de 2008, se inform a los evaluadores que el Programa Anual ser modificado para coincidir
con la actual MML.

42/114
 TR1

36. En los planes se establecen indicadores y metas, se definen estrategias y polticas

para lograr estas metas, y se desarrollan programas de trabajo detallados para asegurar
la implementacin de las estrategias y as obtener los resultados esperados?

No. Como se seal en la respuesta anterior, no se dispone de planes estratgicos, y por lo

tanto se carece de una articulacin de todos estos elementos, propios de la planeacin
estratgica; sin embargo, los indicadores y las metas estn presentes en los documentos
anteriormente sealados (Programa Sectorial, SISEVAL, Plan Anual 2008), as como en el
Libro Blanco, el Documento Base y en la MML. Todos estos documentos han sido
elaborados en distintos momentos y responden a propsitos diversos, por lo que se observa
que los indicadores y metas que proponen no necesariamente coinciden entre s. Por
ejemplo, el SISEVAL slo da seguimiento a una de las metas de Enciclomedia, referida al
equipamiento de aulas; el Programa Anual define fin, propsito, componentes y actividades
que no coinciden con los del Documento Base ni con los de la MML 32.
En lo que se refiere a las estrategias, en el Libro Blanco se establecen algunas Lneas de
Accin (con esa denominacin) propuestas para el alcance de su objetivo estratgico, y
estn relacionadas con la creacin de los ambientes propicios para el uso racional de la
tecnologa. Estas lneas se fueron diversificando con el tiempo, en funcin de las
contingencias, dada la naturaleza innovadora del Programa.
En los documentos del Programa, analizados para la presente evaluacin, no se encontr
evidencia de una definicin de polticas ni de planes de trabajo detallados.

32 Como se seala en la respuesta N35 el Plan Anual ser modificado de acuerdo con la actual MML. Sin embargo se considera que algunos de sus
planteamientos tienen una ms adecuada alineacin con los objetivos del Programa Sectorial y el PND que la matriz de indicadores del Programa. Por
lo que se recomienda hacer una revisin de dicho documento para fortalecer la planeacin estratgica de Enciclomedia.

43/114
 TR1

37. En dichos planes se establecen con claridad los resultados (Fin y Propsito) que
busca alcanzar el Programa?

No. Como se seal en las respuestas anteriores, no se cuenta con documentos de

planeacin estratgica. Sin embargo, tal como se describe en la respuesta 3, el Documento
Base del Programa s aporta elementos para la definicin de Fin y Propsito. Estos
elementos no fueron recuperados adecuadamente en la MML que los evaluadores recibieron
en agosto del 2007, por lo que en la Evaluacin de Diseo del Programa (TR2) se hicieron
recomendaciones orientadas a recuperar los planteamientos del Documento Base.
El Programa cuenta ahora con una nueva versin de la MML (entregada a los evaluadores
en el 11 de febrero), cuyas caractersticas son analizadas desde la respuesta 3 a 22 del
presente documento.

44/114
 TR1

38. El Programa tiene mecanismos para establecer y definir metas e indicadores?, estos
mecanismos son los adecuados? Si no es as, qu modificaciones propondra?

No. No existe informacin suficiente que d cuenta de los mecanismos instrumentados para
establecer los indicadores y metas, y como se seal en la respuesta 37, los indicadores y
metas planteados en los diferentes documentos no son del todo congruentes entre s. Por
otra parte, los indicadores y metas identificadas en los diversos documentos se enfocan a la
ampliacin de la cobertura, el nmero de docentes capacitados y la frecuencia de uso del
equipamiento, pero no contemplan los aspectos cualitativos que s estn expresados en los
objetivos del Programa (Documento Base). No se cuenta con la informacin que posibilite
analizar cmo fueron definidos estos indicadores y metas. Al respecto tambin es importante
considerar las observaciones planteadas desde la respuesta 8 a 22, referidas a los
indicadores presentados en la MML.
La principal recomendacin que se puede hacer al Programa es desarrollar un plan
estratgico que considere: la experiencia de estos aos de operacin (plasmada en
documentos oficiales como el Libro Blanco y tambin en las memorias de las reuniones
sostenidas con los responsables del Programa en las entidades federativas); las
recomendaciones de evaluaciones externas y auditoras; la necesidad de explicitar el sentido
de la transformacin de Enciclomedia y su vinculacin con otros programas de desarrollo y
uso de TIC, en los trminos que plantea el Programa Sectorial de Educacin.

45/114
 TR1

2.2.2 De la orientacin para resultados

39. El Programa recolecta regularmente informacin oportuna y veraz que le permita

monitorear su desempeo?

No. El Programa dispone de diversos mecanismos para monitorear slo algunos aspectos
de su desempeo. La Mesa de Servicios y Control de Calidad de la SEP (operada por un
proveedor) y la Mesa de Servicios y Control de Calidad con que deber contar cada
empresa contratada segn el Modelo Multianual de Servicios (MMS) permiten identificar
el uso de los equipos instalados (identificador de equipos encendidos) y reciben los
reportes de problemas enfrentados por los usuarios en el uso del equipo. Sin embargo,
no se recaba informacin que, adems de contabilizar las horas en que el equipo
permanece encendido, tipifique y describa el uso de la herramienta, considerando
elementos que permitan identificar su usabilidad y el aprovechamiento que se hace de l.
Tampoco se identificaron mecanismos de monitoreo para las aulas equipadas con el
modelo ASA.
Por otra parte, no se observaron dispositivos eficientes para monitorear el diseo de
contenidos ni el desarrollo de cursos y otros mecanismos de capacitacin y asesora, a
pesar de que estos elementos son componentes centrales del Programa (ver Documento
Base).
Un ejemplo de ello es el documento de la Primera reunin nacional del uso de las
tecnologas de la informacin y comunicaciones en la Educacin Bsica (13 de julio
de 2007) el cual plantea que: Existe la imperiosa necesidad de fortalecer la capacitacin
en el mbito tecnolgico, pedaggico, operativo y en el uso de las herramientas y
procesos de Enciclomedia. Sin embargo, no se conoce con certeza y precisin la
calidad, deficiencias y tipologas de mejoras que deben implementarse en las
capacitaciones que se brindan a los docentes. Esto es producto de los deficientes
instrumentos de monitoreo y control del Programa.

46/114
 TR1

40. El Programa tiene un nmero limitado y suficiente de indicadores que se orienten a

resultados y reflejen significativamente el Propsito del Programa?

No. Como se seal con anterioridad, en este momento el Programa no cuenta con un
documento de planeacin estratgica. Por otra parte, los indicadores descritos en la MML
(cuyas Fichas Tcnicas no fueron entregadas a los evaluadores), no son congruentes con
la descripcin del Fin, el Propsito y los Componentes y por tanto no reflejan
significativamente el objetivo general (Documento Base) del Programa. En las
respuestas 3 a 22 del presente documento pueden encontrarse observaciones y
recomendaciones para mejorar los indicadores definidos en la MML, pero a modo de
ejemplo puede mencionarse el indicador propuesto en el nivel de Propsito: Porcentaje
anual de estudiantes satisfechos con el funcionamiento de las aulas Enciclomedia; con
este indicador (la satisfaccin de los usuarios) pretende medirse el acceso a tecnologas
en los procesos de enseanza y aprendizaje.
Adems de los materiales internos del Programa, existen documentos de la SEP que
definen indicadores para Enciclomedia. El SISEVAL, por ejemplo, da seguimiento a un
indicador del Programa, denominado Aula atendida. No se consideran indicadores
relacionados con la capacitacin, el desarrollo de Enciclomedia o su evaluacin. El
Programa Anual 2008 mide aulas equipadas, a pesar de que describe tambin
componentes relacionados con otros aspectos del Programa (capacitacin,
acompaamiento pedaggico y apoyo tcnico a docentes).

47/114
 TR1

41. El Programa tiene metas pertinentes y plazos especficos para sus indicadores de
desempeo?

No. Como se seala en la pregunta anterior, la falta de documentos con una adecuada
definicin de indicadores para el Programa, impide tambin el establecimiento de metas
pertinentes y de los plazos en que dichas metas podrn ser alcanzadas. Sin embargo,
considerando que el equipo coordinador de Enciclomedia se encuentra en este momento
en un periodo de redefinicin de sus objetivos y estrategias de operacin, es de
esperarse que para etapas posteriores pueda disponerse de documentos en los cuales
los objetivos, indicadores y metas se encuentren claramente expresados.

48/114
 TR1

42. Los indicadores de desempeo del Programa tienen lnea de base (ao de referencia)?

No. En congruencia con lo que se ha manifestado en las respuestas 40 y 41, ser

necesario esperar a que el Programa cuente con un Plan Estratgico para analizar sus
indicadores de desempeo, metas y lnea de base. Respecto a los indicadores presentes
en la MML, los evaluadores no han podido contar con sus Fichas Tcnicas, que es el
instrumento en el que debera estar definida la lnea de base de los indicadores.

49/114
 TR1

43. Estn los requerimientos de presupuesto explcitamente ligados al cumplimiento de

las metas de desempeo?

No. Hasta la fecha del presente anlisis y con base en la documentacin proporcionada
podemos concluir que no existe relacin directa de los requerimientos del presupuesto
con las metas de desempeo. Alcanzar el Fin y el Propsito del Programa requiere
invertir recursos suficientes y cuidadosamente dirigidos en reas como la capacitacin y
el seguimiento. Sin embargo, estos mbitos hasta ahora han quedado descuidados en la
asignacin presupuestal de Enciclomedia. Como ya se ha sealado en otras partes de
esta evaluacin, las metas del Programa no estn claramente definidas (exceptuando la
referida a equipamiento) y esta falta de claridad necesariamente se refleja en los
requerimientos de presupuesto.
Casi el 100% del presupuesto de Enciclomedia se engloba en el Captulo 3000, que
corresponde a Servicios Generales (incluye arrendamientos, adquisiciones y servicios
generales con terceros). Esto tiene relacin con el hecho de que la nica meta del
Programa a la que da seguimiento el SISEVAL es la de aulas atendidas. Si se garantiza
que el nmero programado de aulas cuenta con el equipamiento instalado y funcionando,
pareciera que el Programa ha cumplido su cometido. Sin embargo, como se ha expuesto
en este documento, el equipamiento es un componente necesario pero definitivamente
insuficiente para alcanzar el propsito el Programa, y por lo tanto las metas de
desempeo y los requerimientos presupuestales debern plantearse en este sentido.

50/114
 TR1

44. Cules son las fuentes de financiamiento del Programa?*

El Programa Enciclomedia es financiado en su totalidad con recursos fiscales autorizados

por la Cmara de Diputados, a travs del Presupuesto de Egresos de la Federacin,
entregados por la Secretara de Hacienda y Crdito Pblico a la Secretara de Educacin
Pblica de acuerdo al Presupuesto autorizado que incluye la Actividad Prioritaria R055
Implementar el Programa Enciclomedia renombrada como E001 en el Presupuesto 2008 de
la SEP.
El presupuesto del Programa se distribuye en el Captulo 2000 Materiales y Suministros, y el
Captulo 3000 Servicios Generales, representando generalmente el 0.01% y el 99.99%
respectivamente. El presupuesto asignado en 2006 fue $3,754,500,000; en 2007
$4,048,513,918.62 y en 2008 $4,937,053,131.

51/114
 TR1

45. El Programa ha llevado a cabo evaluaciones externas?

S. Se han realizado diversas investigaciones al Programa Enciclomedia, cuyas principales

caractersticas y resultados se describen en el Anexo V.a de esta evaluacin del Programa. A
continuacin se enlistan slo las que han sido contratadas por el propio Programa (desde la
Secretara de Educacin Pblica o a travs del ILCE):
Holland, Ilona, et. al. (2006). Informe de Evaluacin de Enciclomedia, en Reimers, F. et.
al. Aprender ms y mejor: polticas, programas y oportunidades de aprendizaje en
educacin bsica en Mxico. Mxico, FCE, SEP, Escuela de Graduados de la Universidad
de Harvard.
Daz De Cosso, R. et. al. (2006) Enciclomedia en la prctica: observaciones en veinte
aulas, 2005-2006. Mxico, ILCE, Centro de Investigacin Educativa y Actualizacin de
Profesores, A.C.
s/a (2005) Evaluacin del Programa Enciclomedia. Mxico, Centro de Estudios
Educativos, SIEME, Heurstica educativa.33
Loera Varela, A. (2004) Evaluacin del impacto del Programa Enciclomedia en la prctica
pedaggica de los maestros. Mxico, SEP, ILCE, Heurstica Educativa.
Snchez Rosete, L. (2004) Programa Enciclomedia: Laboratorio de Prueba. Primera fase:
reporte acadmico. Mxico, ILCE.
Baptista Lucio, P. y Gonzlez Cano, P. (s/f) Impacto del Programa Enciclomedia en el
aprendizaje. Un estudio en 5 y 6 de primaria: el caso de la Escuela Blgica. Centro
Anhuac de Investigacin y Servicios Educativos.
Cobos, Mara Isabel (2005) Reporte del Laboratorio de Prueba 2005. ILCE, Coordinacin
de Informtica Educativa.

33 Se cita aqu el proyecto de investigacin incluido en el Libro Blanco. Se revisaron tambin otros documentos del CEE relacionados con este
estudio; sin embargo, no se ha tenido acceso a los resultados de la evaluacin.

52/114
 TR1

46. Cules son las principales caractersticas de las mismas (tipo de evaluacin, temas
evaluados, periodo de anlisis, trabajo de gabinete y/o campo) ?*

Las caractersticas de las evaluaciones se describen en el Anexo V.a. A continuacin se presenta

una sntesis.
Autor/ Institucin Ao Metodologa Muestra
Ttulo Evaluadora
Holland, I., et al. Escuela de 2006 Estudio cualitativo; 10 aulas en ocho escuelas del D.F.
Informe de evaluacin Educacin de la visitas de campo, 6 grupos de enfoque.
de Enciclomedia Universidad de entrevistas,
Harvard grupos de enfoque.
Daz De Cosso, R. ILCE 2006 Cualitativo 10 aulas de 5 ao de primaria, Cinco
et al. Enciclomedia en Cuantitativo, basado aulas con y cinco sin Enciclomedia.
la prctica : en observacin y 10 aulas de 6 ao de primaria, Cinco
observaciones en cuestionarios. aulas con y cinco sin Enciclomedia.
veinte aulas, 2005- Un total de 20 aulas que corresponden
2006 a 9 escuelas del D.F.
Monitoreo y Centro de 2005 Cualitativo: Estudios Muestra tipo panel, aleatoria de 450
evaluacin del Estudios de caso. aulas con Enciclomedia (de 5 y 6)
impacto del Programa Educativos, Cuantitativo que ser representativa a nivel
Enciclomedia SIEME, Estudio Longitudinal nacional. Al mismo tiempo se contar
Heurstica con una muestra de un grupo de
educativa comparacin, exactamente del mismo
tamao sin Enciclomedia.
Loera Varela, A. Heurstica 2004 Cualitativo: Estudios Muestra tipo panel, aleatoria de 450
Evaluacin del Educativa de caso aulas con Enciclomedia (de 5 y 6)
impacto del Programa Cuantitativo que ser representativa a nivel
Enciclomedia en la Estudio longitudinal Nacional. Al mismo tiempo se contar
prctica pedaggica con una muestra de un grupo de
de los maestros : comparacin, exactamente del mismo
propuesta tamao sin Enciclomedia.
Snchez Rosete, ILCE 2004 Cualitativo 8 maestros de las primeras cinco
Laura. Programa escuelas que se trabajaron el
Enciclomedia: Programa Enciclomedia
Laboratorio de
Prueba. Primera fase:
reporte acadmico
Baptista Lucio, P. y Centro Anhuac [200-] Cuantitativo. Estudio 2 grupos de 6 y 2 de 5, de una
Gonzlez Cano, P. de Investigacin Cuasi experimental. escuela primaria pblica turno
Un estudio en 5 y y Servicios matutino. A su vez un grupo de cada
6 de primaria: el Educativos grado conformar los Grupo
caso de la Escuela Tratamiento (Tecnologas), y los otros
Blgica. los Grupos Control (Tradicional).
Cobos, Mara Isabel. ILCE, 2005 Cualitativo, Las escuelas que forman parte de este
Reporte del Coordinacin de Cuantitativo de forma estudio repondieron voluntariamente a
Laboratorio de Informatica longitudinal. una convocatoria y cumplieron con los
Prueba 2005 Educativa requisitos. Muestra total: 1,497
alumnos, 52 profesores y 11 directores,
correspondientes a 12 planteles del
D.F.

53/114
 TR1

47. El Programa ha implementado y dado seguimiento a los resultados y

recomendaciones provenientes de las evaluaciones externas de los ltimos dos aos?
.

No. No se encontr evidencia documental de la implementacin y el seguimiento a los resultados

y recomendaciones de evaluaciones externas. Cabe sealar que en diversas entrevistas con el
equipo coordinador del Programa se manifest a los investigadores que en la DGME no se
dispona de los informes de resultados de todas las evaluaciones externas. Algunos de estos
documentos fueron encontrados por el equipo coordinador de Enciclomedia durante el proceso de
evaluacin, y dados a conocer a los evaluadores poco tiempo antes de concluir este estudio.
Segn fue manifestado a los evaluadores la causa de esta situacin es que el Programa fue
transferido de una Unidad Responsable a otra, y en este traslado no se recibi la informacin
completa. Por lo tanto se considera que el Programa no ha tenido oportunidad de incorporar los
resultados de todas las evaluaciones en su proceso de toma de decisiones. No obstante, hay
otras evaluaciones externas que han sido publicadas y se encuentran disponibles para su
consulta.
Se esperara que estas evaluaciones s estuvieran teniendo un impacto positivo en el desarrollo
del Programa, pero no se encontraron documentos que explcitamente citen las evaluaciones
realizadas y establezcan en qu aspectos se les da seguimiento. Sin embargo, s pueden
sealarse algunas coincidencias entre recomendaciones de las evaluaciones externas y avances
que se han dado en el Programa. Por citar algunos ejemplos, recomendaciones relacionadas con
la actualizacin de contenidos, la necesidad de reforzar espaol y matemticas, as como de
integrar contenidos representativos de las diversas regiones del pas son recuperadas por la
versin 2.0 del software de Enciclomedia. Otras recomendaciones que se refieren a incorporar la
conectividad y a expandir la propuesta a otros grados de educacin bsica encuentran eco en las
estrategias y lneas de accin del Programa Sectorial de Educacin 2007-2012.

54/114
 TR1

48. Existe evidencia de que el Programa ha utilizado la informacin generada por las
evaluaciones para mejorar su desempeo?

No. Tal como se seala en la respuesta a la pregunta anterior, no hay evidencia documental de
que el Programa est utilizando la informacin arrojada por las diversas evaluaciones para
mejorar su desempeo. Sin embargo, es posible que el Programa s est incorporando esta
informacin en sus procesos de mejora pero no lo ha documentado. Hay que recordar que la
mayor parte de los documentos del Programa, en cuyo anlisis se basa la presente evaluacin,
datan de los inicios de su construccin y puesta en marcha y que existen insuficientes materiales
con informacin actualizada. Como se ha sealado en otras partes de esta evaluacin es
necesario que se trabaje en una actualizacin del diseo del Programa, que deber considerar,
entre otras, las siguientes recomendaciones hechas por algunas de las evaluaciones externas
descritas en el Anexo V.a:

Revisar la capacitacin para hacer hincapi en el aprender haciendo; proporcionar a los

maestros oportunidades de capacitacin que sean ms convenientes y oportunas.
Establecer mtodos para la rendicin de cuentas.
Crear nuevas herramientas de evaluacin y evaluar de manera regular.
Realizar ms investigaciones sobre el uso, aprovechamiento y mejora de Enciclomedia.
Dar prioridad al tratamiento de los temas bsicos del curriculum.
Disear tcnicas didcticas apropiadas a Enciclomedia y difundirlas entre los docentes y los
estudiantes de las escuelas normales del pas.
Poner Enciclomedia a disposicin de los profesores fuera de la escuela.
Apoyar el rea tcnica de Enciclomedia para corregir posibles fallas y generar
recomendaciones para los maestros sobre cmo pueden resolver problemas con el equipo.

55/114
 TR1

2.3 COBERTURA Y FOCALIZACIN (2.3.1 Anlisis de cobertura)

49. El Programa cuenta con algn mtodo para cuantificar y determinar la poblacin
potencial y objetivo?
S. La cuantificacin se basa en la estadstica educativa nacional, generada por la DGPP,
la cual ofrece informacin sobre nmeros de alumnos, docentes y aulas de 5 y 6 de
primaria. Al dirigir su atencin al universo de estos grados, no se requiere de otras
tcnicas de cuantificacin. Los Lineamientos de Operacin del Programa (septiembre
de 2005) establecen que: Enciclomedia como un bien social deber llegar a todos los
maestros y alumnos de quinto y sexto grados de las escuelas de educacin
primaria, sin importar su condicin socioeconmica (pg.4).
Segn informacin que ofrece el documento Estadstica Bsica del Sistema Educativo
Nacional. Fin de cursos 2005-2006 34 (SEP, 2006) el nmero total de alumnos inscritos en
5 grado son 2,461,281 y en 6 grado equivale a 2,332,352 estudiantes.
Los Lineamientos de Operacin establecen que la totalidad de los estudiantes de
quinto y sexto grados de las escuelas de educacin primaria corresponderan a la
poblacin objetivo. Para atenderlos se requiere instalar el sistema en la totalidad de aulas
de estos grados escolares, es decir 181,196.35 Actualmente el Programa se encuentra por
debajo de este total en 34,232 aulas 36. Llama la atencin que cuando el total de aulas de 5
y 6 de primaria (incluidas las aulas multigrado) es de 181,196 (segn DGPP), la meta
que el Sistema de Seguimiento y Evaluacin, SISEVAL, registra para 2007 es de 192,996
aulas atendidas (ver pregunta N51). Es decir, SISEVAL estableci 11,800 aulas a equipar
por sobre el total de aulas de 5y 6 grado de primaria que inform DGPP.
La Evaluacin Programtica de SISEVAL de diciembre de 2007 seala que la DGME solicit
la modificacin de la meta en el mes de mayo, al serle transferido el Programa. Sin embargo,
la modificacin no fue autorizada por la DGPP, por ser una meta PEF. La explicacin de los
motivos que llevaron a los responsables a solicitar esta modificacin en los totales, se
encuentra en la pregunta N51.

34 Ver http://sep.gob.mx/work/resources/LocalContent/83205/51/fin2005-2006.pdf
35 Segn datos de la DGPP proporcionados por la coordinacin del Programa.
36 Diferencial entre el total registrado por documentacin de DGPP y el informe de SISEVAL correspondiente la meta reportada en diciembre de
2007 (146,964 aulas atendidas).

56/114
 TR1

50. En caso de que el evaluador determine que el Programa debe modificar los
instrumentos antes analizados, proponer los instrumentos y procedimientos a utilizar,
as como realizar un anlisis de factibilidad de los mismos.*

Si el Programa no contempla modificar su poblacin objetivo entonces no parece

necesario el disear nuevos instrumentos y/o procedimientos, ya que no se observan
debilidades en cuanto a la cuantificacin de la poblacin objetivo.
Sin embargo, s se considera necesario invertir recursos e implementar sistemas de
informacin que provean de antecedentes actualizados sobre la cuantificacin y
caracterizacin de las aulas de 5 y 6 grado que an no cuentan con el servicio, de
manera que se puedan identificar las caractersticas de aquellas que an no tienen las
condiciones de aula lista y se trabaje coordinadamente con las entidades federativas
para dotarlas de los apoyos que requieran. Slo as se estar en posibilidad de alcanzar
la meta de atender al 100% de las aulas de estos grados.

57/114
 TR1

51. Cuantificar la poblacin atendida total a nivel nacional para el periodo del 1 de enero del
2006 al 31 de diciembre del 2007. Esta informacin deber desagregarse por entidad
federativa, por los Componentes del Programa y por los atributos considerados en la
pregunta 24. Para presentar esta informacin utilizar el Cuadro No. 1 como referencia.*

Los Lineamientos de Operacin del Programa Enciclomedia (SEP, 2005) y el

Documento Base (SEP, 2004) puntualizan que la cobertura del Programa ser la
totalidad de las aulas de 5 y 6 grado de las escuelas pblicas de educacin primaria
que cuenten con la infraestructura necesaria para el despliegue y uso de Enciclomedia.
Poblacin Objetivo: La informacin entregada por la DGPP plantea que el universo total
de unidades de atencin de 5, 6 y multigrado es de 181,196 (pregunta N24). Sin
embargo, la meta establecida por SISEVAL para 2007 es de 192,996 aulas atendidas. En
la Evaluacin Programtica de Diciembre de 2007 la DGME que al cancelarse la
ampliacin a secundarias (se programaban 46,000 aulas) y fallar la instalacin de 23
aulas de primaria que no contaban con las condiciones requeridas, el Programa reporta
146,964 aulas atendidas. En el Anexo X se presenta la informacin por estado de aulas
atendidas.
En relacin a los atributos de la poblacin atendida, como se indica en la pregunta N24,
no se cuenta con una caracterizacin de la poblacin objetivo. Por ltimo, en cuanto a
los componentes del Programa (ver Documento Base) se puede indicar lo siguiente:
Desarrollo de Enciclomedia: Se est desarrollando la versin 2.0 que incorpora
estndares de accesibilidad y contenidos traducidos a lenguas indgenas para alumnos
con capacidades diferentes y alumnos de educacin intercultural bilinge (Libro Blanco,
2006). Esta versin est concluida pero an no ha sido instalada en aulas.
Formacin Docente: El total de docentes en servicio 37 que se han capacitado entre 2004
y 2007 es de 223,733. En el periodo 2006 a agosto de 2007 fue de 121,515. (DGFCMS,
SEB, 2007).
Adecuacin y Equipamiento de Aulas: Tal como se indic previamente a diciembre de
2007 se contaba con una cobertura de 146,964 aulas atendidas (SISEVAL). Se carece de
informacin actualizada y desagregada por estado y escuela sobre las caractersticas del
hardware y software (tipo de versin) que hay instalado en cada aula.

37 Este nmero incluye ATP (Personal de apoyo tcnico-pedaggico de las zonas escolares); ETE (Equipos tcnicos estatales, asesores de Centros
de Maestros, Mesas Tcnicas de educacin primaria, personal de educacin a distancia).

58/114
 TR1

52. El avance de la cobertura, que a la fecha presenta el Programa, es el adecuado

considerando su Fin y Propsito?

No. Si se considera el Fin y el Propsito tal como estn definidos en la MML, los
actuales avances en materia de equipamiento pueden considerarse significativos,
pues la MML pone el nfasis en el acceso y uso de la tecnologa. Sin embargo, como
se ha sealado de manera reiterada, el objetivo general descrito en el Documento
Base del Programa es ms integral y apunta a lograr cambios en las prcticas
pedaggicas que se desarrollan en el aula.
En trminos de cobertura se propone responder a esta pregunta desde tres ejes:

Equipamiento de la Plataforma: Sin desconocer el enorme avance en trminos

de equipamiento de aulas an no se ha alcanzado el 100% que el Programa se
plantea atender al universo de aulas de 5 y 6 de primaria (ver cifras en la
respuesta N 51).
Capacitacin: Si bien se sabe que se han capacitado 223,733 docentes, se
desconoce si stos son maestros frente a grupo, directivos, ATP u otros. Los
documentos de la DGFCMS revisados por los evaluadores no brindan dicha
informacin38.
Software de la Plataforma: Por lo que respecta a la actualizacin del software en
las aulas equipadas, tal como se seala en la respuesta 51 el Libro Blanco (2006)
da cuenta del desarrollo de la versin 2.0; sin embargo, tanto la revisin
documental como la entrevista a la Mtra. Bernldez confirman que dicha versin no
ha sido distribuida.

38 El Plan General para la Formacin Continua de Docentes, Directivos y Personal de Apoyo Tcnico-Pedaggico para la Enseanza Asistida por
Enciclomedia (SEP, 2006) indica que los destinatarios de la formacin continua para el Programa Enciclomedia, es decir, el universo potencial a recibir
capacitacin es: 32 equipos tcnicos dirigentes de educacin bsica en las entidades federativas; 32 equipos tcnicos dirigentes de la formacin
continua en las entidades federativas; 558 coordinadores de los Centros de Maestros; 10 000 docentes de educacin primaria en funciones de apoyo
tcnico-pedaggico; 100 000 colectivos docentes de escuela primaria; 180 000 maestros frente a grupo de 5 y 6 grados; 100 000 directivos escolares;
12 500 supervisores y 2,000 jefes de sector. No obstante, se carece de informacin desagregada en relacin a quines de los sujetos descritos han
recibido la capacitacin.

59/114
 TR1

53. El Programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo?

No. Dado que no se cuenta con un Plan Estratgico no es posible responder esta
pregunta en su totalidad. Sin embargo, atendiendo al resto de documentos revisados,
puede plantearse lo siguiente:

El Documento Base establece que se considera atender a las aulas de 5y 6 grado de

las escuelas primarias pblicas, Centros de Maestros y Escuelas Normales Pblicas.
Segn informacin entregada por los responsables del Programa, se puede indicar que
en la fase actual de Enciclomedia (inicios de 2008), se ha alcanzado una cobertura de
ms del 80% en lo que se refiere a equipamiento de aulas de 5 y 6.

El Programa Sectorial de Educacin 2007-2012 (SEP, 2007) ofrece informacin

actualizada sobre la estrategia de cobertura al plantear: Definir un nuevo modelo de uso
de esas tecnologas como apoyo a la educacin que incluya contenidos, infraestructura,
capacitacin y herramientas de administracin []. Este modelo tendr un enfoque para
primaria (de 1 a 4 grado), telesecundaria y la actualizacin de Enciclomedia en 5 y 6,
tanto para alumnos como para docentes. Sin duda estos antecedentes permiten hacer
inferencias en cuanto al panorama a mediano y largo plazo de este Programa.

60/114
 TR1

54. Esta estrategia es la adecuada? Si no es as, qu modificaciones propondra?

No. Dado que el Programa Enciclomedia carece de un plan estratgico (ver respuestas
anteriores) no se cuenta con los insumos suficientes para responder a esta pregunta.
Es importante tomar en consideracin que el Programa Sectorial de Educacin 2007-
2012 (SEP, 2007), plantea la transformacin del Programa Enciclomedia. Sin embargo,
estas redefiniciones se estn diseando de manera simultnea a la realizacin de esta
evaluacin, por este motivo, los evaluadores no cuentan con los insumos necesarios para
poder analizar y dimensionar las implicaciones de esta nueva iniciativa. Desde este punto
de vista, la referida transformacin de Enciclomedia incluira, segn los responsables del
Programa, modificaciones tanto de orden pedaggico (insumos, hardware, metodologas
de enseanza), como de gestin (instrumentos de planificacin y control).
Por todos los motivos hasta aqu expuestos y debido al cambiante escenario en el que se
encuentra el Programa, los evaluadores no cuentan con los insumos necesarios para
establecer si la nueva estrategia de cobertura resulta adecuada o no. Sin embargo, se
pueden hacer las siguientes recomendaciones, cuya pertinencia en el proceso de
transformacin de Enciclomedia deber ser evaluada por los responsables del Programa:

Favorecer y promover el uso de tecnologas de bajo costo (hardware econmico 39).

Distribuir los contenidos en lnea con el fin de favorecer el uso y explotacin de
Enciclomedia en aquellas aulas que an no cuentan con Enciclomedia.
Promover el uso de software de cdigo abierto (tanto como sistema operativo
como paquetes informticos de apoyo en la enseanza).
Implementar un plan de capacitacin interna, que promueva el entrenamiento en el
uso y explotacin de la herramienta entre los mismos miembros de la comunidad
estudiantil. Es decir capacitacin docente-docente; docente-director; ATP-docente,
etc.
Incorporar un programa de estmulos por docente, director o ATP capacitado.
Promover que las entidades federativas puedan desarrollar planes y programas de
apoyo al uso y aprovechamiento de Enciclomedia.

39 Ver: Low-Cost Multi-touch Whiteboard (Wiimote) Chung Lee, Carnegie Mellon University. Pantalla interactiva de U$50.
61/114
 TR1

2.3.2 Anlisis de focalizacin

55. En relacin con la informacin de gabinete disponible se debe evaluar si el Programa

ha logrado llegar a la poblacin que se deseaba atender. Para esto es necesario utilizar
indicadores consistentes con los criterios analizados en la pregunta 27.*

Para atender a esta pregunta se utilizar como principal fuente el Sistema de Seguimiento
y Evaluacin (SISEVAL) el cual establece que la meta para 2007 sera de 192,996 aulas
atendidas. Sin embargo, la Evaluacin Programtica de diciembre puntualiza que la cifra
alcanzada era de 146,964. Es decir, un porcentaje de variacin negativo en cuanto a la
cobertura total de Enciclomedia equivalente a -23.85% (correspondientes al modelo ASA y
MMS). La explicacin de dicha variacin se expone en el mismo documento (ver respuestas
49 y 51). No obstante, no se explican las razones por las cuales no se est atendiendo al
100% de las aulas de 5 y 6 grados, y cmo se determin la cifra de aulas que se equipara
en cada estado, la cual se menciona en los convenios de colaboracin firmados con las
entidades federativas40.

Es importante mencionar que SISEVAL ofrece reportes sobre cantidades totales y no brinda
antecedente alguno en cuanto a si los criterios y mecanismos utilizados por Programa para
determinar las unidades de atencin (aulas) son los adecuados o no (ms antecedentes
sobre los criterios del Programa Enciclomedia en pregunta N27).

40 Si bien en los Lineamientos del Programa se establecen las caractersticas de aula lista y en los convenios de cada estado se estipula el total de
aulas que sern atendidas, los evaluadores no encontraron informacin que describa los procedimientos, metodologas o criterios de operacin que
incidieron para la seleccin de las aulas que recibiran atencin.

62/114
 TR1

56. Se ha llegado a la poblacin que se desea atender?

No. El Programa carece de fuentes de informacin unificada sobre el total del universo
que conforma la poblacin objetivo del Programa Enciclomedia.

Tal como se indica en la pregunta N51, en los Lineamientos de Operacin del

Programa Enciclomedia (SEP, 2005) y el Documento Base (SEP, 2004) se seala que
la cobertura del Programa ser la totalidad de las aulas de 5 y 6 grado de las escuelas
pblicas de educacin primaria [que] cuenten con la infraestructura necesaria para el
despliegue y uso de Enciclomedia. Por otra parte, y tal como se indic en la pregunta
N27, las unidades de atencin del Programa seran las aulas de 5 y 6 grado que
cuenten con la infraestructura necesaria. Esta condicin estara determinada por los
criterios de participacin detallados en dicha pregunta.

Tomando como referencia uno de los ltimos documentos recibidos antes de concluir esta
evaluacin (SISEVAL, diciembre de 2007) se identifica que el total de aulas con equipo
Enciclomedia era de 146,964 (frente a una meta de 192,996 aulas atendidas). Este dficit
equivale a un -23,85% de variacin (ver respuestas 49 y 51).

No obstante, tal como se indica en la pregunta N51, el anlisis de la informacin de

SISEVAL (que hace relacin a una meta de 192,996 aulas) y de la DGPP (que plantea
que el total de escuelas de 5, 6 y multigrado equivale a 181,196) arroja diferencias
importantes.

63/114
 TR1

2.4 OPERACIN

2.4.1 Anlisis de las ROP o normatividad aplicable

Seleccin de beneficiarios y/o proyectos

57. Existen procedimientos estandarizados y adecuados para la seleccin de proyectos
y/o beneficiarios?

No. En este momento el Programa no est sujeto a Reglas de Operacin y ello impide
que pueda estipularse con precisin si los procedimientos son adecuados o no. Como
consta en las respuestas N29 y N30 y en el Captulo 7 de esta evaluacin (integran el
TR2, entregado a la SEP y a CONEVAL en octubre de 2007), los evaluadores han
recomendado enfticamente la elaboracin de ROP para el Programa Enciclomedia, en el
entendido de que este instrumento, como se establece en el Art. 2, fraccin XLV de la Ley
Federal de Presupuesto y Responsabilidad Hacendaria, servir para otorgar
transparencia y asegurar la aplicacin eficiente, eficaz, oportuna y equitativa de los
recursos pblicos asignados al Programa.

Sin embargo, en trminos fcticos puede plantearse que, segn las informaciones de
gabinete que han podido analizar los evaluadores hasta la fecha, pueden ser
beneficiarios del Programa Enciclomedia la totalidad de estudiantes de 5 y 6 grado de
las escuelas pblicas de primaria que cuenten con la infraestructura necesaria
(Lineamientos de Operacin, pregunta 27). Dicho esto, se puede inferir que el criterio y
los procedimientos de seleccin de los beneficiarios estn determinados principalmente
por las condiciones tcnicas, logsticas y administrativas de las propias escuelas de
primaria, ms que por algunas caractersticas que puedan tener los estudiantes de 5 y 6
grado.

64/114
 TR1

58. La seleccin de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y
requisitos establecidos en las ROP o normatividad aplicable?

No. En entrevista con el equipo responsable del Programa se inform a los evaluadores
que Enciclomedia no cuenta ni contar, al menos durante el periodo que dura esta
evaluacin, con Reglas de Operacin.

Ya que el Programa no cuenta con ROP que definan los criterios de elegibilidad, se
recomienda tomar como referencia los Lineamientos de Operacin del Programa
Enciclomedia (SEP, 2005) y el Documento Base (SEP, 2004) los cuales puntualizan que
la cobertura del Programa ser la totalidad de las aulas de 5 y 6 grado de las escuelas
pblicas de educacin primaria que cuenten con la infraestructura necesaria para el
despliegue y uso de Enciclomedia. Bajo esta lgica, ms que criterios de elegilidad, se
especifican criterios de participacin (o requisitos) que ponen especial nfasis en las
caractersticas de la infraestructura de las aulas de 5 y 6 grado (Ver pregunta 27).

Tal como se ha sealado en preguntas anteriores (29, 30 y 57) los evaluadores

recomiendan atender con especial prioridad la definicin de ROP que permitan uniformar
procesos, procedimientos, responsabilidades y por sobre todo, pautas de operacin que
adems de transparentar la forma en que el Programa es administrado permita simplificar
la incorporacin de mejoras/adecuaciones en la manera en que Enciclomedia se utiliza.

65/114
 TR1

Solicitud de apoyos
59. El Programa cuenta con informacin sistematizada que permita conocer la demanda
total de apoyos y las caractersticas de los solicitantes?

Esta pregunta no es aplicable a las caractersticas del Programa. Enciclomedia no

atiende a sus beneficiarios a partir de solicitudes de apoyo, sino que dirige su atencin al
universo de su poblacin objetivo, es decir a todos los alumnos y docentes de 5 y 6
grados de primaria.
De manera complementaria, y tal como se plante en la pregunta N55, segn el Sistema
de Seguimiento y Evaluacin (SISEVAL, diciembre de 2007), el Programa ha llegado a
poco ms del 76% de las escuelas correspondientes a la meta. En este sentido, se
desconoce si hay potenciales solicitantes del servicio que no han sido atendidos. La
respuesta N27 describe los lineamientos de operacin que determina cuando una unidad
de atencin puede ser calificada como aula lista (tambin se pudo observar esta
informacin en ejemplos de Contratos multianual de prestacin de servicios). Sin
embargo, en la investigacin de gabinete no se ha identificado un sistema de informacin
que provea, al equipo responsable de la operacin de Enciclomedia, de informacin
actualizada y monitoreable en relacin a qu aulas se encuentran bajo la condicin de
aula lista.

66/114
 TR1

60. Existen procedimientos estandarizados y adecuados para recibir y procesar

solicitudes de apoyo?

No. La definicin de procedimientos estandarizados para la asignacin de apoyo a

solicitudes especficas no es aplicable al Programa Enciclomedia.
Dadas las caractersticas del Programa y tal como se especifica en el documento
Lineamientos de Operacin del Programa Enciclomedia (SEP, 2005) [ver pregunta 27,
58] la cobertura que hasta la fecha se ha buscado es de dar atencin a toda la poblacin
objetivo (la totalidad de escuelas de 5 y 6). Bajo esta premisa no corresponde, ni resulta
necesaria, la definicin de procedimientos estandarizados y adecuados para recibir y
procesar solicitudes de apoyo.

67/114
 TR1

Tipos de apoyos
61. Los apoyos otorgados (incluyendo obras y acciones) cumplen con las
caractersticas establecidas en las ROP o normatividad aplicable?

No. Tal como se ha sealado en las preguntas anteriores el Programa no est sujeto a
ROP. Las normativas y procedimientos se encuentran dispersos en documentos como
Lineamientos de Operacin del Programa Enciclomedia (SEP, 2005); Convenios
de Coordinacin para la operacin del Programa Enciclomedia celebrados con las
entidades federativas; Contratos Multianuales de Prestacin de Servicios,
firmados con los proveedores del hardware.
La falta de un documento normativo que integre todos los elementos del Programa
dificulta la comunicacin entre reas e instituciones, diluye responsabilidades,
obstaculiza la transparencia y la rendicin de cuentas 41, y frena la posibilidad de hacer
mejoras en sus procedimientos y forma de operar.
Cabe sealar que los apoyos otorgados por el Programa consisten bsicamente en
equipamiento, software educativo y capacitacin. Si bien no se cuenta con informacin
completa acerca de todos los apoyos otorgados por Enciclomedia, s se puede
plantear que la entrega de estos apoyos no ha sido adecuadamente documentada.
Entre otras cosas, este aspecto afecta la imagen de transparencia y probidad del
Programa. Por ejemplo, aunque se conoce el nmero de docentes capacitados, no se
conocen las caractersticas que ha tenido la capacitacin realizada, pues es
responsabilidad de las entidades federativas y el Programa no cuenta con un sistema
de monitoreo que permita asegurar que los cursos se dan de acuerdo con los
lineamientos establecidos por la DGFCMS.

41 Se sugiere revisar las observaciones de la Subcomisin para investigar y dar seguimiento a todo lo relativo al Programa Enciclomedia de la
Comisin de Educacin Pblica y Servicios Educativos de la Cmara de Diputados, que plantea: Se deben transparentar plenamente los procesos de
diseo, licitacin, implementacin y funcionamiento del Programa.

68/114
 TR1

62. Se respetaron los montos de apoyos estipulados en las ROP o normatividad

aplicable?

No. Dado que el Programa no est sujeto a Reglas de Operacin, tal como se ha
indicado anteriormente (ver preguntas N29, 30, 57, 58, 61) los evaluadores no
cuentan con la informacin necesaria para dar respuesta a esta pregunta. Al no contar
con ROP no se ha podido identificar un documento que estipule los montos de apoyos
del Programa.

Por ltimo, y tal como se indic en la pregunta anterior (N61), es importante

puntualizar que esta pregunta no es aplicable ya que los apoyos son nicamente en
bienes y servicios (equipamiento, software educativo y capacitacin). El Programa
Enciclomedia no considera la asignacin de recursos econmicos a sus beneficiarios.

69/114
 TR1

63. Se tiene informacin sistematizada que permita dar seguimiento oportuno a la

ejecucin de obras y/o acciones?

No. Slo se cuenta con elementos para dar seguimiento a algunas de las acciones. Los
Lineamientos de operacin de Enciclomedia establecen que la SEP contrat la Mesa
de Servicios y Control de Calidad, que ser el punto nico de contacto y registro para
resolver los problemas que se presenten en el aula. () permitir garantizar que las aulas
se encuentren operando de forma adecuada y que los proveedores cumplan en tiempo y
forma con todos los compromisos contrados. (p.3) Por otra parte, no se encontraron
evidencias de un seguimiento puntual de las acciones que no se relacionan con el
equipamiento, como la capacitacin, el desarrollo y apropiacin de contenidos o su
impacto.
La ms reciente versin de la MML (febrero de 2008) incluye indicadores y medios de
verificacin para estos aspectos, aunque an se consideran insuficientes, pues no
contienen de manera adecuada los aspectos cualitativos del servicio.
Por otra parte, tal como se indica en la pregunta N18, de los medios de verificacin
sealados en la MML, los evaluadores slo han tenido acceso a algunos reportes de la
MSC, por lo que no se tiene constancia de que todos los medios propuestos aporten la
informacin requerida para evaluar el indicador al que corresponden.

70/114
 TR1

Ejecucin
64 Existe evidencia documental de que el Programa cumple con los procesos de
ejecucin establecidos en las ROP (avance fsico-financiero, actas de entrega-
recepcin, cierre de ejercicio, recursos no devengados) ?

No. Como se ha estipulado en las preguntas anteriores (ver preguntas N29, 30, 57, 58,
61 y 62), el Programa Enciclomedia no est sujeto, ni lo estar durante el ejercicio 2008,
a ROP.

Al no contarse con ROP no resulta factible para los evaluadores analizar el grado de
cumplimiento de los procesos de ejecucin que este Programa debiese tener. Esta
situacin afecta particularmente la posibilidad de evaluar y controlar aspectos
relacionados con el avance fsico-financiero, actas de entrega-recepcin, cierre de
ejercicio, recursos no devengados, entre otros.

En entrevista con el equipo coordinador del Enciclomedia se inform a los responsables

de la evaluacin, que el principal instrumento de seguimiento financiero con que cuenta el
Programa es el Sistema Integral de Recursos Financieros (SIREFI) de la SEP. Si bien
este programa ofrece informacin sobre la administracin de recursos, dicho sistema no
identifica ni puntualiza procedimientos de ejecucin financiera, sino que simplemente
facilita la gestin y el control de recursos del personal a cargo de esta tarea.

Esta deficiencia en cuanto a la definicin de procesos se identifica como una

problemtica particularmente sensible ya que puede afectar la imagen de transparencia
del Programa y, al mismo tiempo, repercute en la posibilidad de estandarizar
procedimientos de carcter financiero.

71/114
 TR1

65. Dichos procesos de ejecucin funcionan de acuerdo a la normatividad?

No. Tal como se indica en la pregunta anterior (N64) esta informacin no est
formalmente estipulada (dado que no se cuenta con ROP). Sin embargo, en entrevista
con el equipo coordinador del Programa, se inform a los evaluadores que los
procedimientos de ejecucin financiera de Enciclomedia estn adscritos a una normativa
propia de la Secretara de Educacin Pblica.

El documento normativo que define los procedimientos de orden financiero se llama

Lineamientos para el ejercicio y control del gasto de la Secretara de Educacin
Pblica42. Dicho instrumento es utilizado para llevar a cabo el control presupuestal de la
SEP en general. Y por tanto, el Programa Enciclomedia est adscrito a estas
disposiciones, normativas y procedimientos institucionales.

42Estos lineamientos tienen como propsito normar el ejercicio y control del presupuesto autorizado de las unidades responsables de esta
dependencia, incluyendo los rganos desconcentrados, y son complementarios de las disposiciones federales en materia de gasto pblico.

72/114
 TR1

2.4.2 Mejora y simplificacin regulatoria

66. Se han implementado o modificado en los ltimos tres aos normas internas,
polticas, acciones o estrategias institucionales con el fin de lograr una mejora y
simplificacin regulatoria o de procesos en el Programa? Describa las ms importantes.

No. Tal como se ha indicado en las preguntas anteriores (ver preguntas N29, 30, 57, 58,
61, 62 y 64), el Programa no cuenta con ROP. Resulta evidente que si este Programa no
cuenta con un instrumento que centralice, transparente y regularice las normativas con
que se administra Enciclomedia en todas las escuelas de 5 y 6 en todo el pas, no es
posible para los evaluadores identificar si se han implementado o no mejoras en los
ltimos aos en relacin a las normas internas, polticas, acciones o estrategias
institucionales con el fin de lograr una mejora y simplificacin regulatoria o de procesos
en el programa.
Tal como se ha sealado, uno de los principales efectos negativos de que Enciclomedia
carezca de unas ROP es que esta insuficiencia afecta directamente la posibilidad de
incorporar mejoras en las prcticas y ejecucin de este Programa.

73/114
 TR1

67. Reportar los principales beneficios y resultados alcanzados con la implementacin de

acciones de mejora comprometidas. Enunciar nicamente el ttulo de las acciones de
mejora (Ejemplo: Reduccin de tiempos de atencin, disminucin de cantidad de requisitos,
etc.).*

Dado que no se cuenta con un instrumento regulatorio que comprenda, defina y describa
los procedimientos y normativas bajo los cuales se ejecuta y administra Enciclomedia, no
es posible identificar, calificar y describir la existencia de mejoras en este Programa.

De igual modo, como se explica en la pregunta anterior (N66) los evaluadores no han
podido acceder a documentos, reportes o informes que documenten las mejoras que ha
sufrido el Programa Enciclomedia durante los cinco aos que ha estado en ejecucin.

74/114
 TR1

2.4.3 Organizacin y gestin

68. El Programa cuenta con una estructura organizacional que le permita entregar y/o
producir los Componentes y alcanzar el logro del Propsito? El anlisis deber incluir
las diferentes instancias relacionadas con la operacin del Programa.

No. Como se ha sealado con anterioridad, la operacin del Programa requiere de la

participacin conjunta de diversos actores de la administracin pblica federal, las
administraciones estatales y otras organizaciones. El Libro Blanco de Enciclomedia
establece que las unidades administrativas participantes en la operacin de Enciclomedia
son:
En la Secretara de Educacin Pblica:
Subsecretara de Educacin Bsica: Direccin General de Formacin Continua para
Maestros en Servicio; Direccin General de Materiales Educativos; Direccin General de
Educacin Indgena; Direccin General de Desarrollo de la Gestin e Innovacin
Educativa.
Oficiala Mayor: Direccin General de Recursos Materiales y Servicios; Direccin General
de Tecnologa de la Informacin; Direccin General de Administracin Presupuestal y
Recursos Financieros.
Direccin General de Comunicacin Social
Direccin General de Asuntos Jurdicos
Coordinacin General de Oficinas de Servicios Federales de Apoyo a la Educacin
Administracin Federal de Servicios Educativos para el Distrito Federal
Comisin Nacional de Libros de Texto Gratuitos.
Universidad Pedaggica Nacional.
Gobiernos de las 31 entidades federativas y Secretaras de Educacin Estatal o su
equivalente.
Instituto Latinoamericano de la Comunicacin Educativa (Coordinacin de Informtica
Educativa)

Sin embargo, no se encontraron evidencias documentales de una adecuada coordinacin

entre las distintas reas. Al mismo tiempo se observ que no hay un apropiado flujo de la
informacin entre ellas. En las conclusiones de la Primera Reunin Nacional del uso de las
tecnologas de la informacin y comunicaciones en la educacin bsica se seala lo
siguiente: La operacin de las Coordinaciones Estatales de Educacin a Distancia est
sujeta a la voluntad de los Gobiernos Estatales, lo que ocasiona limitaciones en la operacin
del Programa; Las Coordinaciones Estatales no tienen acceso a la informacin sobre el
funcionamiento y reportes de las aulas. Tambin en las diversas entrevistas realizadas se
not que las diferentes reas desconocen lo que hacen otros actores vinculados al
Programa.

75/114
 TR1

76/114
 TR1

69. Los mecanismos de transferencias de recursos operan eficaz y eficientemente?

Enciclomedia no transfiere recursos financieros a las entidades federativas, por lo que

esta pregunta no es aplicable al Programa.

77/114
 TR1

70. Considerando las complementariedades del Programa, tiene una colaboracin y

coordinacin efectiva con los programas federales con los cuales se relaciona y se
complementa?

No. No se cuenta con informacin que permita sustentar que en esta etapa del Programa
existan acciones de colaboracin y coordinacin con otros programas, a pesar de que
esta complementariedad y el aprovechamiento de los recursos de otros programas fue
uno de los elementos centrales de Enciclomedia en sus orgenes. Ser fundamental que
el Programa recupere esta vocacin de articularse con otros programas, as como
promover que sus aportaciones sean base para el desarrollo de nuevas acciones en
materia de tecnologa para la educacin bsica.
El Programa Sectorial, en las estrategias y lneas de accin definidas en materia de
educacin bsica para el objetivo 3, sienta las bases para restablecer esta articulacin de
Enciclomedia con otros programas afines en sus propsitos y estrategias. Ser necesario
que el Plan Estratgico del Programa establezca los mecanismos para que la
colaboracin con otros programas como Habilidades Digitales para Todos, hoy en da en
proceso de desarrollo, sea efectiva y contribuya a optimizar los recursos y mejorar los
resultados de estos programas.

78/114
 TR1

2.4.4 Administracin financiera

71. Existe evidencia de que el Programa utiliza prcticas de administracin financiera que
proporcionen informacin oportuna y confiable para la toma de decisiones de los
responsables de la administracin poltica y administrativa?

S, en el caso de control de pagos (ver nota 43) con apego al plan presupuestal se
apoyan en el sistema URNet, descrito en la pregunta N 69. Si se habla de ejecucin
presupuestaria la DGME realiza un proceso administrado a travs del software Excel
con Auxiliares Presupuestales, donde se registra el presupuesto ejercido por cada
partida para despus consolidarlo en el Estado del Ejercicio Mensual y Anual, y desde el
punto de vista operativo de la herramienta se cuenta con los informes de la MSC.

43 A travs de las entrevistas con los responsables del Programa se identific que las prcticas administrativas financieras en lo
que se refiere al pago a proveedores se utiliza el SIDEFI (Sistema Integral de Recursos Financieros) ahora denominado URNet,
que funciona a grandes rasgos de la siguiente manera:La Direccin General de Materiales Educativos (DGME) genera un plan de
acuerdo al presupuesto autorizado y los compromisos calendarizados.
2. Cada mes los proveedores envan su factura correspondiente al servicio otorgado, con el Vo.Bo. de la MSC.
3. El rea de Finanzas de la DGME genera una SOLTRAPA (Solicitud de Trmite de Pago) o DOCORECO (Documento de
Corresponsabilidad, Registro y Control), valida los requisitos fiscales de la factura y con el informe de la MSC los anexa como
soporte documental de la solicitud de pago.
4. El rea de Finanzas genera en sistema una Cuenta por Liquidar (CXLC) y se asigna fecha de pago. La DGME tiene hasta 45 das
para pagar sin penalizacin.
5. El URNet ofrece diversas consultas del DOCORECO que permiten visualizar el Detalle del documento, el Histrico con la bitcora
y el status correspondiente.
Cabe mencionar que el sistema no permite pagar ms del monto comprometido. Este sistema es vlido nicamente para seguimiento de ejecucin
presupuestal autorizado. Si existen ampliaciones o principalmente reducciones autorizadas por la SEP o SHCP, como sucedi en el periodo a cargo
de la DGTI existirn factores que modificarn las metas establecidas inicialmente. Por esa razn uno de los principales riesgos es la Suficiencia
Presupuestaria del Programa para cubrir los compromisos pactados.

79/114
 TR1

72. Existe una integracin entre los distintos sistemas de informacin que conforman la
administracin financiera?

S. Existe una integracin que va desde el Presupuesto de Egresos de la Federacin

autorizado por la Cmara de Diputados, las adecuaciones presupuestarias ejecutadas por la
DGPP para cubrir el Presupuesto Regularizable en Servicios Personales y Gastos de
Operacin de la SEP, el Presupuesto Autorizado y entregado por la SHCP, hasta el control
de pagos del Ejercicio Presupuestal. Para el ejercicio financiero se utiliza el Sistema Integral
de Recursos Financieros (SIREFI o URNet) de la SEP. Con l se identifica el ejercicio, la
transferencia de recursos, el gasto por ejercer, los montos comprometidos por mes y por
actividad.

80/114
 TR1

2.4.5 Eficacia, eficiencia, economa operativa del Programa

Eficacia
73. Presentar el avance de los indicadores a nivel de Componente del Programa, este
avance es el adecuado para el logro del propsito?

No. Se puede comentar lo siguiente respecto al avance en los indicadores del nivel de
Componente presentados en la MML del Programa:
Porcentaje anual de aulas de 5 y 6 grado de educacin primaria equipadas con
Enciclomedia respecto al total de aulas de 5 y 6 grado de educacin primaria: Tal como
se explica en la pregunta N51, es importante que exista consistencia entre la informacin que
define la MML para hacer el clculo del total de aulas por equipar ( 181,196, segn DGPP)
mientras que la meta establecida por SISEVAL es de 192,996 aulas atendidas. Es
importante que exista consistencia entre los datos proporcionados por la DGPP y las
metas del Programa reportadas a travs de SISEVAL (ver preguntas N49, 51 y 55).
Porcentaje anual de aulas de 5 y 6 grado de educacin primaria disponibles con
Enciclomedia respecto al total de aulas de 5 y 6 grado de educacin primaria
beneficiadas con Enciclomedia: No se cuenta con una definicin de la meta de este
indicador ni con los reportes de la MSC que permitan conocer si esta meta fue alcanzada.
Porcentaje anual de docentes de 5 y 6 grado, directivos y ATP de educacin primaria
capacitados en el uso de Enciclomedia: Si bien se sabe que entre 2004 y 2007 se ha
capacitado a 223,733 docentes, se desconoce cuntos de estos estn actualmente
atendiendo grupos de 5 y 6 grado y cuntos docentes que atienden estos grados estn an
sin capacitacin. Por otra parte, no se incluyen indicadores que permitan valorar la calidad de
la capacitacin ofrecida.
Porcentaje anual de docentes de 5 y 6 grado, directivos y ATP de educacin primaria
que concluyeron los trayectos formativos en el uso de Enciclomedia: No se dispone de
informacin que permita valorar el avance en este indicador.
Porcentaje de innovaciones desarrolladas para atender las necesidades anuales
detectadas para la actualizacin y mejora permanente de las tecnologas de la
informacin y la comunicacin en los procesos de enseanza aprendizaje de
Enciclomedia: En este caso tanto el componente como su indicador se consideran confusos
y, por lo tanto, es difcil evaluar su grado de avance. Sera necesario explicitar cmo define el
Programa las necesidades anuales, cmo las detecta o diagnostica, si el Balance anual de
innovaciones para Enciclomedia es un documento que existe en la actualidad o se piensa
construir.

81/114
 TR1

74.Se identifica algn componente o actividad que no es producido en la actualidad y que

podra mejorar la eficacia del Programa?
S. La actual MML no recupera uno de los cuatro componentes centrales del Programa
definidos en el Documento Base: seguimiento y evaluacin. Se considera que este
componente es central para asegurar el logro de la calidad de los otros tres
componentes y que hasta ahora ha sido el aspecto ms desatendido en el desarrollo del
Programa. No hay elementos suficientes para determinar el impacto que el Programa ha
tenido en las prcticas pedaggicas de los docentes y en el aprendizaje de los nios; se
desconocen las competencias tecnolgicas de alumnos y docentes; no hay informacin
sobre la satisfaccin de los beneficiarios del Programa; no se puede asegurar que los
reportes de la MSC estn aportando toda la informacin requerida para la toma de
decisiones en lo que se refiere al equipamiento y su uso. Los estudios y otras fuentes de
informacin a los que tuvieron acceso los evaluadores no dan cuenta adecuadamente de
estos aspectos.
Por otra parte, el anlisis presupuestal permite ver que tampoco se estn destinando recursos
a este componente (seguimiento y evaluacin) que es esencial no slo para asegurar el
buen desarrollo del Programa sino para justificar su pertinencia en la contribucin a mejorar
las prcticas docentes y los resultados de aprendizaje. Al respecto cabe recordar algunos de
los sealamientos de la Subcomisin para investigar y dar seguimiento a todo lo relativo al
Programa Enciclomedia de la Comisin de Educacin Pblica y Servicios Educativos de la
Cmara de Diputados:
es preciso sealar que esta inversin millonaria no fue acompaada con el desarrollo de indicadores de
impacto acadmico que la justificaran (novena consideracin administrativa y de implementacin).
no existe evidencia emprica contundente que demuestre que el uso del Programa en las aulas impacte
el aprendizaje, (primera consideracin desde el punto de vista conceptual y acadmico).
se considera que la MSC no cumple de manera completa con sus objetivos, ya que hasta el momento
se ha concentrado en monitorear y registrar cuantas horas se mantiene encendido el equipo, sin aportar
informacin sobre si efectivamente se est usando y cmo se usa. (tercera consideracin desde el
punto de vista conceptual y acadmico).
evaluar de manera externa, independiente y sistemtica al Programa, para evitar conflictos de inters en
el diseo, interpretacin y uso de las evaluaciones. (sexto resolutivo, inciso 7).
En cuanto a las Actividades, habra que considerar los sealamientos que se hacen en la
respuesta 8 de este documento, relacionados con la necesidad de incluir actividades que
aseguren la calidad de los productos y servicios otorgados por el Programa.
82/114
 TR1

75. Se identifican Componentes, Actividades o procesos que se llevan a cabo en la

actualidad y que podran ser prescindibles o posibles de sustituir por otros ms eficaces?

No. Todos los componentes y actividades que define la MML en la actualidad se

consideran necesarios para el desarrollo del Programa. No obstante, como se seal con
anterioridad, los componentes y actividades, particularmente el tercer componente
(innovaciones tecnolgicas), debern ser revisados para asegurar que expresen su
contenido con claridad.

83/114
 TR1

76. Existen indicadores de eficacia en la operacin del Programa? Presentar un listado de

estos indicadores.

No. La Subcomisin para investigar y dar seguimiento a todo lo relativo al Programa Enciclomedia
de la Comisin de Educacin Pblica y Servicios Educativos de la Cmara de Diputados en el
documento Resultados y recomendaciones al Programa Enciclomedia. Primer informe seala
que a la fecha no existen indicadores ni parmetros para medir la eficiencia, eficacia y grado de
avance de los objetivos generales del Programa. Esta observacin es del 29 de noviembre de
2007.
Por otra parte, en la MML se encuentran los siguientes indicadores clasificados como de eficacia,
que servirn para evaluar los avances en la operacin del Programa a partir del presente ao:
Indicador de Fin: Porcentaje anual de estudiantes que por lo menos una vez a la semana
utilizan Enciclomedia.
Indicadores del Componente 1: Porcentaje anual de aulas de 5 y 6 grado de educacin
primaria equipadas con Enciclomedia respecto al total de aulas de 5 y 6 grado de educacin
primaria; Porcentaje anual de aulas de 5 y 6 grado de educacin primaria disponibles con
Enciclomedia respecto al total de aulas de 5 y 6 grado de educacin primaria beneficiadas
con Enciclomedia.
Indicadores del Componente 2: Porcentaje anual de docentes de 5 y 6 grado, directivos y
ATP de educacin primaria capacitados en el uso de Enciclomedia; Porcentaje anual de
docentes de 5 y 6 grado, directivos y ATP de educacin primaria que concluyeron los
trayectos formativos en el uso de Enciclomedia.
Indicador del Componente 3: Porcentaje de innovaciones desarrolladas para atender las
necesidades anuales detectadas para la actualizacin y mejora permanente de las
tecnologas de la informacin y la comunicacin en los procesos de enseanza aprendizaje de
Enciclomedia.
Indicador de actividad 2.1: Desarrollar contenidos y materiales para la capacitacin en el uso
de Enciclomedia otorgadas a docentes, directivos y ATP de 5 y 6 de primaria.

Si se entiende la eficacia como el grado en que se alcanzan las metas en un periodo

determinado, es necesario conocer las metas y el periodo de cumplimiento de cada uno de estos
indicadores (que deberan estar plasmados en las Fichas Tcnicas); sin embargo, en trminos
generales puede decirse que s son indicadores de eficacia.

84/114
 TR1

Eficiencia
77. El Programa ha identificado y cuantificado costos de operacin y costos unitarios
dependiendo del Propsito y de sus Componentes? Si fuera el caso, presentar dichos
costos.

No. No se encontraron documentos del Programa que identifiquen y cuantifiquen los costos
de operacin y costos unitarios. El documento Justificacin del Programa de Informtica
Educativa Enciclomedia de la Secretara de Educacin Pblica, fechado en 2003, presenta
los posibles costos de desarrollar el Programa, y analiza para cada rubro los posibles
escenarios de la inversin. Sin embargo, a cinco aos de iniciado el Programa, no se
encontr un anlisis actualizado de estos costos.
El documento Proyecto de Presupuesto de Egresos de la Federacin 2008 Enciclomedia
(notacefp/066/2007) del Centro de Estudios de las Finanzas Pblicas H. Cmara de
Diputados, publicado el 12 de noviembre 200744 seala que del total de los Recursos para el
Programa, el 99.9 por ciento se destina para Servicios Generales; este rubro agrupa las
asignaciones destinadas a cubrir el costo de todo tipo de servicios que contraten las
dependencias y entidades con personas fsicas y morales del sector privado y social o
instituciones del propio sector pblico. En el caso de Enciclomedia, dichos recursos estn
destinados principalmente al pago de los proveedores contratados con el Modelo Multianual
de Servicios (MMS). Para este captulo se destinan recursos por 4 mil 937 millones de pesos
34.2 por ciento ms que en el ao 2007.
Si bien es comprensible que el componente relacionado con equipamiento sea el ms
costoso, el Programa no parece haber destinado los recursos suficientes y oportunos para la
capacitacin, el seguimiento y la evaluacin.

44 http://www3.diputados.gob.mx/camara/content/view/full/145092
85/114
 TR1

78. El Programa tiene procedimientos para medir costo-efectividad en su ejecucin?

No. Segn la informacin disponible no se cuenta con procedimientos establecidos para
medir costo efectividad de la ejecucin del Programa. Los evaluadores encontraron un texto
titulado: Documento para cumplir con los lineamientos para la elaboracin y presentacin
del anlisis costo beneficio en proyectos de inversin en infraestructura social. Justificacin
del Programa de Informtica educativa ENCICLOMEDIA. Se consult una versin elaborada
en 2003 y una actualizacin de 2005. El material presenta los resultados de un estudio de
costo, beneficio y riesgos y seala que Para la evaluacin de este proyecto se bas en la
metodologa EVC de Glomark Corporation. Sin embargo, no hay una descripcin de dicha
metodologa ni una justificacin de esta eleccin.
En el documento se establece una cuantificacin para los siguientes beneficios: reduccin de la
desercin de alumnos a la primaria; reduccin en el porcentaje de alumnos reprobados; aumento en la
productividad del personal docente; evitar paros laborales por desigualdad de condiciones tecnolgicas; evitar
costos de TV para no afectar la percepcin de los alumnos; reduccin en el consumo de plumones para
pizarrones blancos; evitar costos excesivos de soporte por estandarizacin de equipos; consolidar el envo de
materiales didcticos; bibliotecas electrnicas en las aulas; menor tiempo del personal docente elaborando
planes anuales. No es clara la definicin de cada uno de estos beneficios ni se explica la manera en que se
cuantificaron.
El documento se autodescribe como un caso de negocios, con lo cual se centra en los
aspectos econmicos del Programa. Sin embargo, el Programa Enciclomedia apuesta por
beneficios que no necesariamente pueden expresarse en unidades monetarias, por lo que se
considera que un estudio de costo efectividad, que considera los costos econmicos y los
efectos no monetarios de la inversin, sera recomendable como parte de la estrategia de
evaluacin del Programa.
Es conveniente recuperar aqu lo que seala el Primer informe de resultados de la
Subcomisin para investigar y dar seguimiento a todo lo relativo al Programa Enciclomedia
de la Comisin de Educacin Pblica y Servicios Educativos de la Cmara de Diputados, en
su cuarta consideracin administrativa y de implementacin: Que la Secretara de
Educacin Pblica de la anterior administracin no realiz estudio alguno de costo-beneficio
que justificara la erogacin millonaria para la renta de las Aulas Enciclomedia como la
mejor opcin para elevar los niveles de calidad de los aprendizajes de los educandos de 5 y
6 aos de primaria, violando lo dispuesto en el artculo 36 cuarto prrafo de la ley de
adquisiciones, arrendamientos y servicios del Sector Pblico.

86/114
 TR1

79. Se identifica algn componente, actividad o proceso que no se est llevando a

cabo en la actualidad y que podra mejorar la eficiencia del Programa?

S. Para responder esta pregunta se recomienda tomar en consideracin el Documento

Base, en el cual se establecen cuatro componentes estructurales que son determinantes
para llevar a cabo los objetivos a corto, mediano y largo plazo, es decir: a) desarrollo de
Enciclomedia, b) formacin de docentes y apoyo pedaggico, c) adecuacin y equipamiento
de aulas d) seguimiento y evaluacin. Para cada uno de estos componentes, se detalla una
serie de acciones que el Programa debera lleva a cabo (ver pregunta N 35).
Al revisar la MML se identifica que los tres componentes que posee la actual MML
establecen atender los siguientes aspectos: 1) aulas dotadas con equipos; 2) capacitacin a
docentes y 3) mejoras tecnolgicas al software/hardware de Enciclomedia.
Un anlisis comparativo de ambos conjuntos de componentes evidencia que la MML
del Programa omite el aspecto de seguimiento y evaluacin, definido en el Documento
Base.
La omisin de este aspecto, a opinin de los evaluadores, resulta inadecuada ya que
muchas de las vulnerabilidades y deficiencias identificadas en el Programa se originan a raz
de una insuficiente estrategia de seguimiento, monitoreo, evaluacin y control. Esta situacin
afecta directamente la posibilidad de incorporar mejoras (principalmente mejoras continuas)
a la ejecucin del Programa.
Por otra parte, la desatencin de este aspecto afecta la posibilidad de medir y evaluar
el impacto de este Programa; el nivel de cumplimiento de las metas; el rendimiento de los
equipos; los tipos de uso de la plataforma, la identificacin del vulnerabilidades del
Programa, la calidad de las capacitaciones brindadas a los profesores; el grado de
apropiacin y desarrollo de habilidades tecnolgicas por parte de educandos y educadores,
entre otros muchos aspectos.
Por ltimo, parece pertinente hacer referencia a las observaciones de la Comisin de
Educacin Pblica y Servicios Educativos de la Cmara de Diputados (ya mencionadas en la
pregunta N76) a la fecha no existen indicadores ni parmetros para medir la eficiencia,
eficacia y grado de avance de los objetivos generales del Programa.

87/114
 TR1

80. Se identifican Componentes, Actividades o Procesos que se llevan a cabo en la

actualidad y que podran ser prescindibles o posibles de sustituir por mecanismos de
menor costo?

No. Como se seala en la respuesta 75, no se considera que los componentes y

actividades descritos en la MML sean prescindibles. En lo que se refiere a la posible
sustitucin de componentes por otros de menor costo, se puede sealar lo siguiente:
El equipamiento de aulas (componente 1) se desarrolla de acuerdo con el MMS, que
establece compromisos con los proveedores por varios aos, de manera que es
inviable pensar en alternativas de menor costo para ofrecer este servicio en las aulas
que ya han sido equipadas. En cambio, si ser importante revisar la estrategia a
seguir en el caso de aumento de la cobertura y en el momento de renovar el equipo
de las aulas del modelo ASA. El informe de la Cmara de Diputados, al que se ha
hecho referencia con anterioridad, seala que no existe evidencia de que se hayan
garantizado las mejores condiciones para el Estado en la inversin de recursos
pblicos para el Programa Enciclomedia (ver Dcima consideracin administrativa y
de implementacin).
Por otra parte, las actividades y procesos que se llevan a cabo para cumplir los
componentes 2 y 3 tambin deben ser revisados para determinar con precisin sus
costos y evaluar alternativas para asegurar que las opciones elegidas son las ms
eficientes.

88/114
 TR1

81. Existen indicadores de eficiencia en la operacin del Programa? Presentar un listado

de estos indicadores.

No. En el Libro Blanco de Enciclomedia (p. 36) se seala que como resultado de la
auditora 034/05 efectuada por la Subsecretara de Control y Auditora de la Gestin Pblica
de la Secretara de la Funcin Pblica, se emitieron tres observaciones, la primera de las
cuales fue: Inexistencia de indicadores para medir la eficiencia, eficacia y el grado de
avance de los objetivos generales y especficos del Programa, as como Lineamientos
Normativos para la operacin de ste. Esta observacin contina siendo vlida, como lo
confirma el informe de la Comisin de Educacin Pblica y Servicios Educativos de la
Cmara de Diputados, presentado el 29 de noviembre de 2007.
La MML recientemente elaborada s contiene indicadores que fueron calificados como de
eficiencia en el nivel de actividades. Dichos indicadores pueden considerarse vigentes en la
operacin del presente ao.
Los indicadores son:
Porcentaje anual de cumplimiento de la instalacin tcnica programado vs. ejercido.
(actividad 1.1)
Porcentaje de aulas que solucionaron sus fallas en el tiempo mximo. (actividad 1.2)
Porcentaje anual de aulas que cuentan con la ltima versin del software de
Enciclomedia. (actividad 1.3)
Porcentaje de contenidos y materiales desarrollados para la capacitacin en el uso de
Enciclomedia. (actividad 2.1)
Porcentaje anual de cumplimiento de las asesoras de docentes de 5 y 6 grado de
primaria en el uso de Enciclomedia. (actividad 2.2)

Sin embargo, como puede observarse en ningn caso se incluye informacin sobre insumos
o recursos utilizados en estos indicadores, y por lo tanto, los evaluadores estiman que no
debiesen ser considerados indicadores de eficiencia, entendiendo que este concepto
relaciona los productos y servicios generados con los insumos o recursos utilizados.

89/114
 TR1

82. Cuantificar el presupuesto ejercido al trmino del presente ejercicio fiscal en relacin al
presupuesto asignado. Cules son las razones de la situacin que se observa?*
Se debe mencionar que el presupuesto analizado corresponde al asignado a la DGME, quien
se hizo cargo del Programa en mayo de 2007. El manejo presupuestario hasta abril
corresponde a la DGTI y no se proporcion informacin para el anlisis del periodo. Al
presupuesto 2007 del Programa se le aplicaron diversas ampliaciones y reducciones que
dieron como resultado el Presupuesto Modificado con una asignacin de $4,048,513,918.62.
Este contempla nicamente el Captulo 2000, Materiales y Suministros, junto con el Captulo
3000, Servicios Generales, representando el 0.01% y el 99.99% respectivamente. Se aplic
una reduccin del 4.2% que cancel las siguientes partidas: 3407 Otros Impuestos y
Derechos, 3409 Patentes, Regalas y Otros; y la 3800 Pasajes, Viticos y Alimentos.
Es importante sealar que la partida 3414 Subcontratacin de Servicios con Terceros
representa el 99.44% del presupuesto debido a que en la operacin actual del Programa es
central el equipamiento de aulas, que se realiza a travs de proveedores externos con
contratos multianuales.
Del presupuesto autorizado se ejercieron $3,939,406,306.28, se comprometieron en
diciembre de 2007 $104,311,654.55 y quedan por ejercer $4,795,957.79, equivalentes al
97.30%, 2.58% y 0.12% respectivamente. El monto comprometido cubre la actualizacin de
precios que se realiza generalmente en noviembre con base en el Indice Nacional de
Precios; tambin queda comprometido el presupuesto de la partida 3602 relacionada con la
Impresin y Elaboracin de Publicaciones. Con respecto al Presupuesto por Ejercer, es un
remanente que al cierre del Ejercicio se debe devolver a la SHCP.
La partida 3414 ejerci el 97.51% quedando comprometido en diciembre de 2007 el 2.49%
restante. Dado que esta partida corresponde casi al 100% del presupuesto y con las
justificaciones del monto comprometido en diciembre, es posible sealar con base en la
informacin proporcionada por la DGME que se realiz el Ejercicio Presupuestal de acuerdo
al Presupuesto Asignado a esta Direccin.
El documento Proyecto de Presupuesto de Egresos de la Federacin 2008 Enciclomedia
(notacefp/066/2007) del Centro de Estudios de las Finanzas Pblicas H. Cmara de
Diputados, publicado el 12 de noviembre 2007 seala que El Proyecto de Presupuesto de
Egresos de la Federacin 2008 prev recursos para el Programa Enciclomedia por 4 mil
937.1 millones de pesos, 34.2 por ciento ms que en el Presupuesto Aprobado 2007.

90/114
 TR1

83. Cul es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles
de gobierno, beneficiarios, etc.) en relacin al presupuesto ejercido?*
Todo el presupuesto del Programa proviene de recursos fiscales federales. No hay
aportaciones de terceros. Es recomendable considerar la observacin que al respecto hizo la
Subcomisin para Investigar y dar Seguimiento a todo lo Relativo al Programa Enciclomedia:
Se debe asegurar que el programa Enciclomedia pase de ser exclusivamente Federal, a ser
un programa en el que las entidades federativas participen en su operacin y control ()
para efectos de la implementacin, uso y mantenimiento de la tecnologa, as como para la
capacitacin docente y la evaluacin de resultados . Al no considerarse la necesidad de
una corresponsabilidad de los gobiernos estatales se han perdido oportunidades de
garantizar que el Programa efectivamente llegue a las aulas de 5 y 6 de primaria del pas,
pues no se compromete a las entidades a asegurar las condiciones de aula lista.

91/114
 TR1

84. En funcin de los objetivos del Programa, se han aplicado instrumentos de

recuperacin de costos (gasto que le genera al Estado la produccin/entrega de servicios
del Programa)?

El Programa no se plantea entre sus objetivos la recuperacin de costos, por lo que

esta pregunta no es aplicable.

92/114
 TR1

3.4.6 Sistematizacin de la informacin

85. Existe una sistematizacin adecuada en la administracin y operacin del

Programa?

No. Los evaluadores han tenido acceso a documentacin que da cuenta de deficiencias e
irregularidades en cuanto a la calidad de la administracin y operacin del Programa. A
continuacin se da cuenta de dos ejemplos sintomticos de ello:
Los resultados de la auditora 034/05 de la Secretara de la Funcin Pblica (SFP),
citada en la respuesta 81:
1. Inexistencia de indicadores para medir la eficiencia, eficacia y el grado de avance de los
objetivos generales y especficos del Programa, as como Lineamientos Normativos para
la operacin de ste.
2. Deficiente desempeo de la operacin del programa Enciclomedia en los Estados de
Chihuahua y Sonora.
3. Carencia de procedimiento para la recuperacin de equipo informtico extraviado del
Programa Enciclomedia.
El Primer Informe de la Subcomisin para Investigar y dar Seguimiento al
Programa Enciclomedia, perteneciente a la Comisin de Educacin y Servicios
Educativos de la Cmara de Diputados (noviembre de 2007) indic lo siguiente:

Cabe mencionar, que a la fecha no existen indicadores ni parmetros para medir la

eficiencia, eficacia y grado de avance en los objetivos generales del Programa. Dicho
informe contiene adems amplias recomendaciones en relacin al tema de la
transferencia de recursos; cambios en la estrategia de operacin; revisin a fondo del
modelo de implementacin del Programa; diseo de implementacin de indicadores y
parmetros para medir el desempeo acadmico; establecimientos de procedimientos
claros y especficos de implementacin y funcionamiento, entre otros.

Todos estos elementos y la evidente desarticulacin entre los diferentes instrumentos de

monitoreo, control y seguimientos descrita a lo largo de esta evaluacin (ver pregunta
N17, 18, 99) demuestran que han existido deficiencias en la administracin y operacin
del Programa.

93/114
 TR1

86. Cules son los principales sistemas de informacin utilizados en la gestin del
Programa?*

Para la gestin financiera el Programa utiliza el SIREFI o URNet, a los cuales ya se ha

hecho referencia en este documento. Respecto a la operacin hasta ahora es la MSC la
que concentra y sistematiza la informacin. La coordinacin del Programa tiene acceso
al sistema de informacin utilizado por la Mesa y recibe sus reportes.
Definitivamente se considera necesario que la coordinacin del Programa asuma una
mayor responsabilidad en establecer sistemas de informacin que permitan un
monitoreo permanente de los aspectos que se consideren centrales para la toma de
decisiones, particularmente en aquellos que tienen relacin con el componente
pedaggico.

94/114
 TR1

87. En caso de que el Programa cuente con un padrn de beneficiarios, existen mecanismos
de actualizacin y depuracin del padrn de beneficiarios o listado de beneficiarios?

Tal como se identifica en la pregunta N28, los responsables del Programa planten que ste
cuenta con un padrn de beneficiarios. De igual modo, en la pregunta N89 se hace
referencia a que la SEP ha hecho esfuerzos, durante 2007, para organizar la informacin al
respecto. Sin embargo, los evaluadores no han tenido acceso a dicho reporte, por tanto no
se cuentan con los insumos necesarios para plantear si dicho padrn de beneficiarios
funciona con mecanismos de actualizacin y depuracin adecuados.

95/114
 TR1

88. Los mecanismos de actualizacin son los adecuados?

No. En diversas entrevistas con los responsables del Programa se coment a los
evaluadores las dificultades que ha encontrado la presente administracin para poner
orden a las actas a travs de las cuales se formaliza la entrega del equipamiento. Al
parecer este es un proceso que ya se tiene completo, pero los evaluadores no disponen
de evidencia al respecto (Ver Anexo III de Entrevistas y pregunta N89).
En lo que se refiere al componente de capacitacin, si bien se actualiza peridicamente el
registro de docentes capacitados en el uso de Enciclomedia, no siempre es posible contar
con datos acerca de las caractersticas y duracin de la capacitacin, as como la calidad
de sus resultados. Por eso es difcil cuantificar el nmero de docentes que ha recibido la
capacitacin suficiente y adecuada para hacer un ptimo aprovechamiento de
Enciclomedia.
Tampoco se sabe en cuntas aulas el Programa est siendo efectivamente utilizado, pues
hasta ahora el monitoreo remoto slo registra si el equipo es encendido, pero no hay
seguimiento al uso y menos al aprovechamiento de la herramienta.

96/114
 TR1

2.4.7 Cumplimiento y avance en los indicadores de gestin y productos

89. Con base en los indicadores de gestin y productos del Programa, el Programa
mostr progreso en la realizacin de sus Actividades y en la entrega de sus
Componentes en 2007?

No. En el ao 2007 el Programa continu su operacin en las escuelas en las que el

equipamiento haba sido instalado en aos anteriores (con las modalidades ASA y MMS), sin que
su crecimiento fuera acorde con las metas establecidas por la propia SEP en el SISEVAL
(192,996 aulas atendidas45). Tambin se han mantenido los esfuerzos para capacitar en el uso de
esta herramienta a los docentes y directivos de educacin primaria y se concluy el desarrollo de
la versin 2.0 de Enciclomedia, aunque no ha sido llevada a las aulas (ver Libro Blanco y
pregunta N51).46 Todo esto da cuenta de que se est trabajando en los componentes y
actividades previstas, aunque no en forma suficiente para lograr que toda su poblacin objetivo
reciba los bienes y servicios que el Programa se compromete a entregar. En 2007 el Programa no
creci, como se haba anunciado el ao anterior, hacia la educacin secundaria, y tampoco se
realizaron acciones para asegurar que llegara al 100% de las aulas de 5 y 6 del pas. Por lo
tanto slo se podra hablar de un progreso limitado en la realizacin de las actividades y entrega
de los componentes durante el ao pasado.
La Mtra. Edith Bernldez, Directora General de Materiales Educativos, mencion en entrevista
con los evaluadores (Ver Anexo III de Entrevistas) los principales temas que ocuparon la
atencin del equipo coordinador de Enciclomedia durante 2007: realizar la transferencia del
Programa a la DGME, ordenar la documentacin el Programa (principalmente las actas que se
firman al instalar el equipamiento), avanzar en la instalacin de aulas, mejorar la comunicacin
con la MSC, y atender los requerimientos de las seis auditoras que se realizaron ese ao (y que
an no concluyen).
En 2008 la SEP se plantea la necesidad de transformar Enciclomedia, de acuerdo con lo que
establece el Programa Sectorial de Educacin, por lo que es probable que los componentes y
actividades que hoy propone la MML deban ser revisados y modificados en los prximos meses.

45 SISEVAL, reporte de diciembre de 2007. Ver respuesta N51.

46 Durante este perodo, la SEP revis por primera vez la calidad de los contenidos pedaggicos del software desarrollado por el ILCE (ver entrevista
Anexo III).

97/114
 TR1

2.4.8 Rendicin de cuentas y transparencia

90. Existe un Sistema de Rendicin de Cuentas y Transparencia para los funcionarios

que administran los fondos pblicos del Programa?

Los funcionarios del Programa se encuentran sujetos a la normatividad vigente en materia de

rendicin de cuentas y transparencia para todo el gobierno federal, establecida,
fundamentalmente, en la Ley federal de transparencia y acceso a la informacin pblica
gubernamental, Ley federal de responsabilidades de los servidores pblicos y la Ley federal
de responsabilidades administrativas de los servidores pblicos. Los evaluadores no han
encontrado documentos del Programa que establezcan lineamientos adicionales en esta
materia.
Si en el futuro se establecen ROP para el Programa, stas debern considerar los
mecanismos para asegurar la transparencia y adecuada rendicin de cuentas de los
funcionarios que operan el Programa.
Por otra parte, se considera recomendable incluir en la pgina de internet del Programa y en
la de la Secretara, informacin sobre la operacin de Enciclomedia que sea relevante para
el pblico en general y contribuya a dar transparencia a su gestin. Para decidir el tipo de
informacin que deber ser accesible a travs de internet deber considerarse, entre otros
elementos, la informacin que con ms frecuencia es solicitada por los ciudadanos al
Programa a travs del IFAI.

98/114
 TR1

91. Existen y funcionan los mecanismos de transparencia establecidos en las ROP?

Como se ha sealado en respuestas anteriores (seccin 2.1.5 y 2.4.1), hasta el

momento el Programa no est sujeto a Reglas de Operacin. Por otra parte, los
evaluadores no han tenido acceso a documentos que evidencien y/o describan
mecanismos, estrategias y procedimientos para garantizar la transparencia de
recursos del Programa, adicionales a los aplicables a todos los programas sociales
(principalmente la Ley federal de Desarrollo Social) y educativos (en particular la Ley
General de Educacin) del Gobierno Federal.

99/114
 TR1

92. El Programa cuenta con mecanismos para difundir interna y externamente las
evaluaciones y sus resultados?

No. El Programa no cuenta con mecanismos claros para difundir las evaluaciones ni sus
resultados. En la pgina web del Programa no es posible encontrar informacin de los estudios
realizados e incluso para los integrantes del equipo coordinador del Programa ha sido difcil tener
acceso a la informacin de algunas de las investigaciones contratadas por la Subsecretara de
Educacin Bsica durante la pasada administracin (as fue comentado a los evaluadores en
varias reuniones de trabajo). Otras investigaciones, como la realizada por la Universidad de
Harvard47, y la coordinada por R. Daz de Cosso48 se encuentran publicados y son de fcil acceso
para su consulta. Si embargo, tambin sera conveniente que el Programa promoviera su difusin
a travs de su pgina de internet, pues esto contribuira a una mejor comprensin de las
caractersticas y alcances del Programa por parte de la ciudadana.

47 Holland, Ilona, et. al. (2006). Informe de Evaluacin de Enciclomedia, en Reimers, F. et. al. Aprender ms y mejor: polticas, programas y
oportunidades de aprendizaje en educacin bsica en Mxico. Mxico, FCE, SEP, Escuela de Graduados de la Universidad de Harvard.

48 Daz De Cosso, R. et. al. (2006) Enciclomedia en la prctica: observaciones en veinte aulas, 2005-2006. Mxico, ILCE, Centro de Investigacin
Educativa y Actualizacin de Profesores, A.C.

100/114
 TR1

2.5 PERCEPCIN DE LA POBLACIN OBJETIVO

La evaluacin de la percepcin de la poblacin objetivo deber analizar si el Programa

cuenta con instrumentos que le permitan medir el grado de satisfaccin de los
beneficiarios del Programa.
93. El Programa cuenta con instrumentos que le permitan medir el grado de satisfaccin
de la poblacin objetivo?

No. En entrevista con el equipo responsable del Programa Enciclomedia se indic a

los evaluadores que ste no cuenta con instrumentos que permitan identificar el grado
de satisfaccin de la poblacin objetivo.
De igual modo, la informacin a la cual los evaluadores han tenido acceso permite
suponer que el Programa carece de instrumentos e insumos para medir la satisfaccin
de la poblacin objetivo (alumnos y docentes). Tal como se indica en la pregunta
N95 los nicos insumos con que se cuenta son antecedentes que pueden
recolectarse de manera desarticulada en algunas de las investigaciones hechas sobre
Enciclomedia (Ver Anexo V.a).
Es importante mencionar que no contar con este tipo de instrumentos es una debilidad
del Programa, ya que esta carencia afecta directamente la posibilidad de conocer la
manera en que los pblicos directos (docentes, estudiantes) e indirectos
(familiares, directores de escuela, etc.) perciben esta iniciativa. De igual modo esta
carencia afecta la posibilidad de identificar la calidad del mismo, as como las posibles
vulnerabilidades que ste tenga.
La no consideracin del pblico objetivo (ni en el diseo, ni en la implementacin, ni
en la evaluacin post facto) evidencia omisiones sustantivas, al menos en sus
primeros aos y, al mismo tiempo, se convierte en una limitante para incorporar
mejoras tanto en la operacin, diseo y uso de la herramienta, as como la utilizacin
pedaggica de esta plataforma.
La nueva MML incluye, en el nivel de Propsito, un indicador relacionado con la
satisfaccin de los usuarios: porcentaje anual de estudiantes satisfechos con el
funcionamiento de las aulas enciclomedia. Se dice que este indicador se puede medir
a travs del cuestionario de la prueba ENLACE (sic), pero no se describen las
preguntas de dicho cuestionario que permitirn medir el indicador.

101/114
 TR1

94. Estos instrumentos son los mecanismos adecuados y permiten presentar

informacin objetiva? Si no es as, qu modificaciones propondra?

No. El grado de satisfaccin de los usuarios no fue contemplado dentro de los diferentes
tipos de evaluaciones que se plantearon desde el inicio (viabilidad, seguimiento e impacto),
segn lo establecido en el Reglamento Operativo Programa Enciclomedia, SEP y en el
Libro Blanco. Las variables que consideraron para su ponderacin 49 estaban relacionadas
con: aspectos tcnicos (software y equipo), del proceso de enseanza aprendizaje, as
como de actitudes y opiniones de la poblacin objetivo. Se utilizaron diversos instrumentos
de orden cualitativo y cuantitativo en las evaluaciones, y aunque no se desarrollaron para
cuantificar el grado de satisfaccin de los usuarios, en algunos casos se ofrecen datos que
pueden dar ideas al respecto.
Por ejemplo, hay algunas evidencias en el estudio denominado: El Programa
Enciclomedia en las escuelas primarias de Nuevo Len realizado y financiado por el
Centro de Altos Estudios e Investigacin Pedaggica, CECyTE NL, y Gobierno de Nuevo
Len; tambin en las evaluaciones llevadas a cabo por Holland, I. de la Universidad de
Harvard y en el Seguimiento acadmico a la prueba de producto de Enciclomedia,
Centro de Estudios Educativos 2004.

49 Se realizaron diversos estudios dirigidos por instituciones externas (Ver Anexo V.a Bases de Datos de Gabinete, Evaluaciones Externas). En
estos estudios se midieron diversos aspectos del programa y se utiliz una gran diversidad de instrumentos.

102/114
 TR1

95. De la informacin que ha sido generada por estos instrumentos cul es el grado de
satisfaccin de la poblacin objetivo?*

No se puede elaborar un juicio respecto de instrumentos que no existen en concreto. Los

nicos mecanismos que pueden tenerse en cuenta, son aquellos aplicados en las diferentes
evaluaciones que permiten conocer en cierta medida, si no el grado de satisfaccin, por lo
menos la aceptacin del Programa por parte de los usuarios. Tendran que hacerse
esfuerzos para que en las diferentes entidades federativas se realizaran levantamientos de
datos entre directores, profesores y estudiantes por lo menos, para conocer este aspecto de
la implementacin.
No existen instrumentos ni datos duros que revelen el grado de satisfaccin de la poblacin
objetivo. Algunas de las evaluaciones (referidas en la pregunta anterior, N94) llevadas a
efecto hasta el momento, permiten encontrar algunas pistas al respecto; por ejemplo,
Holland, I. et.al. sealan que Enciclomedia prob ser un recurso apreciado que se pensaba
beneficiaba tanto a los maestros como a los alumnos y ofreca una gran variedad de
opciones para mejorar la enseanza propia (Pg. 357-358); el 100% de los profesores
(entrevistados) dijeron que Enciclomedia s haba cambiado la manera en la cual estaban
enseando(Pg. 363) y todos se expresaron positivamente respecto a Enciclomedia (Pg.
366). En el estudio cualitativo realizado en las escuelas de Nuevo Len, se pueden observar
en las respuestas dadas por la poblacin objetivo (nios, maestros, directores, padres de
familia) el buen concepto en el que se tiene al Programa de manera general. Por ltimo, en el
trabajo dirigido por el CEE, se detect una actitud favorable hacia el Programa, inters por
mejorar la prctica pedaggica y motivacin entre los alumnos en el uso de Enciclomedia.

103/114
 TR1

2.6 RESULTADOS

96. El Programa recolecta regularmente informacin veraz y oportuna sobre sus

indicadores de Propsito y Fin?

No. El Fin y el Propsito del Programa han sufrido diversas modificaciones durante esta
evaluacin, y an en la ms reciente versin de la MML no se encuentran claramente
definidos, tal como se describe en la respuesta 3, por lo que resulta difcil una medicin veraz
y oportuna de sus indicadores.
Por otra parte, como se indica ya en respuestas anteriores los indicadores considerados son
insuficientes para dar cuenta del Fin y el Propsito de un Programa con las caractersticas de
Enciclomedia.

104/114
 TR1

97. El Programa ha llevado a cabo evaluaciones externas con metodologas rigurosas que
le permitan medir el impacto del Programa en la poblacin objetivo (evaluaciones que
permitan medir los avances en trminos de su Propsito y Fin) ?

No. La informacin sobre las evaluaciones externas realizadas al Programa se

encuentra descrita en el Anexo V.a, y algunas de sus caractersticas se mencionan
tambin en las respuestas 45 y 46. Los Lineamientos de Operacin del Programa
establecen las caractersticas que debern tener las evaluaciones que se realicen al
Programa, cuyo propsito debiera ser el monitoreo, la medicin de impacto y el
seguimiento (p.26).
De las evaluaciones acerca de las cuales se ha tenido acceso a documentos y
reportes, solamente una se define como evaluacin de impacto: la realizada por el
Centro de Estudios Educativos, A.C. Segn la informacin encontrada en documentos
no publicados, los propsitos fundamentales del estudio son:
Identificar los cambios en la prctica pedaggica, la gestin escolar y la participacin
social en las escuelas que conforman la muestra Enciclomedia, as como caracterizar
las de mejores resultados para retroalimentar el Programa en el logro de sus
objetivos.
Comparar el desempeo de los alumnos de las escuelas Enciclomedia al final del ciclo
escolar 2005-2006, con el mostrado en noviembre de 2005 50.
El Proyecto de la investigacin, incluido en el Libro Blanco del Programa, planteaba
que se entregara un primer reporte de monitoreo en agosto de 2006. Sin embargo no
es sino hasta 2010 cuando se pretenda contar con el informe final. Se revisaron los
materiales disponibles en la DGME y no se encontr informacin sobre reportes,
anlisis, informes o recomendaciones del estudio del CEE (2004-2010), de manera
que no hay condiciones para analizar si dicha evaluacin es adecuada para el
Programa y sus resultados permiten hacer afirmaciones slidas sobre el impacto del
mismo en las prcticas pedaggicas y en el aprendizaje de los alumnos.

50 CEE, A.C. (septiembre de 2006) Evaluacin de los procesos de cambio en la gestin de aula y en la gestin de escuela de los planteles con aulas
Enciclomedia.

105/114
 TR1

98. Con base en las evaluaciones externas, cules han sido los principales impactos del
Programa?*

No se cuenta con elementos para identificar los principales impactos del Programa,
pues an no existen los resultados finales de la nica evaluacin de impacto (2004-
2010) realizada al Programa y sus primeros avances no han sido dados a conocer.
Se considera que una adecuada evaluacin de impacto es indispensable para la toma
de decisiones referida a un Programa de las dimensiones de Enciclomedia y que para
definir el rumbo de la transformacin que este Programa tendr en los prximos aos
debern considerarse las conclusiones y recomendaciones del estudio del CEE (si es
que efectivamente se han realizado los reportes comprometidos y se pueden hacer
pblicos) o asegurar la realizacin de otra evaluacin de este tipo para Enciclomedia.
En esta lnea, un elemento sustantivo que los evaluadores han identificado en
trminos de evaluacin de impacto del Programa guarda relacin con el amplio
universo de los sujetos sometidos a evaluacin. Es decir, los evaluadores plantean a
travs de la ya referida Matriz de Marco Lgico Propuesta (ver pregunta N12) que
no es necesario ni recomendable aplicar evaluaciones censales (de todo el universo)
para evaluar cada uno de los componentes o actividades. Es por ello que se
recomienda incorporar prcticas como la evaluacin de grupos muestrales (ya sean
estos escogidos de manera aleatoria o bajo algn criterio de representatividad) que
permitan aplicar estudios de evaluacin de impacto a grupos especficos de la
poblacin objetivo.
De igual manera, se estima oportuna la incorporacin de grupos expertos que
contribuyan a evaluar las diferentes dimensiones del Programa Enciclomedia, a fin de
considerar otros tipos de evaluacin de impacto, a costos ms reducidos sin que esto
afecte la calidad de las evaluaciones.

106/114
 TR1

99. El diseo y la operacin del Programa permiten realizar una evaluacin de impacto
rigurosa? Si no es as, explicar y proponer los ajustes necesarios para que sean
compatibles.

No. En esta etapa del Programa se observa falta de consistencia en la informacin que se
maneja en los diferentes documentos, lo cual hace difcil la realizacin de una evaluacin de
impacto. Si bien se cuenta con diversas investigaciones (ver Anexo V.a) sobre el Programa
Enciclomedia, los evaluadores estiman que los insumos hasta ahora identificados no tienen
las caractersticas para ser calificables como una evaluacin de impacto rigurosa. Para los
evaluadores se entender por una evaluacin de impacto de Enciclomedia, aquel estudio, ya
sea de carcter cuantitativo o cualitativo, que sea capaz de recolectar informacin de una
muestra representativa del pblico que ha sido beneficiado por este Programa, con el fin de
demostrar los efectos del Programa en las prcticas pedaggicas de los docentes y en el
aprendizaje de los estudiantes. La representatividad de la muestra podr ser de carcter
cuantitativo51 o bien de carcter cualitativo52, en estudiantes y docentes de 5y 6 grado.
Un estudio de estas caractersticas (ya sea cuantitativo o cualitativo) deber tener en
consideracin, adems de las especificaciones descritas en el prrafo anterior, que el
impacto de este tipo de instrumentos pedaggicos no necesariamente puede ser medido en
un plazo de 12 meses. Por este motivo, se sugiere la realizacin de estudios de carcter
longitudinal, y de este modo verificar si se identifican o no modificaciones en las prcticas de
aprendizaje y conocimiento de los beneficiarios (profesores y alumnos) a lo largo del proceso
escolarizado. Otro elemento a tomar en consideracin para posteriores evaluaciones es el
disear estudios pre-post test, que permitan identificar de qu manera la incorporacin de
Enciclomedia en el aula determina transformaciones sustantivas (y preferentemente
estadsticamente significativas) en aquellos estudiantes que utilizaron esta herramienta en la
clase. Un elemento a tomar en consideracin, que resulta especialmente relevante, es
revisar en detalle si los instrumentos actualmente utilizados para evaluar los conocimientos
de los estudiantes (Ej.: ENLACE) resultan o no adecuados para identificar las
transformaciones en el aprendizaje que genera Enciclomedia. 53

51 Muestra aleatoria estadsticamente representativa con respecto al universo total.

52 Muestra no necesariamente aleatoria, pero que represente la heterogeneidad social, geogrfica, tnica y cultural del universo estudiado.
53 Se recomienda tomar en consideracin el cuestionario Tecnologas de Informacin y Comunicacin OCDE/PISA, el cual evala el impacto en
trminos de apropiacin tecnolgica, habilidades informacionales y desarrollos de competencias en el uso de las TIC.

107/114
 TR1

100. Con base en la informacin obtenida de los distintos instrumentos, el Programa ha

demostrado adecuado progreso en alcanzar su Propsito y Fin? Especificar los principales
resultados.

No. Como se seala en respuestas anteriores, el Fin y el Propsito del Programa no se

encuentran adecuadamente definidos aunque stos han sido modificados en varias
ocasiones. Por lo tanto, se considera que la presente evaluacin no cuenta con elementos
para registrar avances en el cumplimiento de Fin y Propsito. Este tema deber ser materia
de otras investigaciones, a realizarse una vez que los trminos que tendr la transformacin
de Enciclomedia a la que se refiere el Programa Sectorial de Educacin estn claramente
definidos.

108/114
 TR1

Captulo 7. PRINCIPALES FORTALEZAS, RETOS Y RECOMENDACIONES

Nombre de la dependencia y/o entidad que coordina el Programa: Secretara de Educacin Pblica.
Nombre del Programa: (Programa Enciclomedia).
Tema de Fortaleza y Referencia Recomendacin
evaluacin Oportunidades/Debilidad o Referencia de la recomendacin
amenaza
Fortaleza y Oportunidad
1. Diseo 1. Incorporacin de Nuevas Pregunta N07 No Aplica
Tecnologas en el aula, resulta (Pg.12,
particularmente importante ya que Prrafo 1)
enriquece los procesos de
enseanza con la incorporacin de
herramientas que incentivan el
aprendizaje significativo y estimulan
el desarrollo de nuevas habilidades y
destrezas en estudiantes y
profesores.
2. Diseo 2. Amplio Acceso a las Nuevas Pregunta N 23 No Aplica
Tecnologas, permite llevar TIC a (Pg.28,
comunidades que previamente no Prrafo 2)
contaban con acceso a
computadoras. Los gobiernos
estatales, junto con la coordinacin
de Enciclomedia, continan
haciendo esfuerzos para hacer llegar
este Programa a todas las escuelas.
3. Cobertura y 3. Capacitacin a Docentes. El Pregunta N51 No Aplica
focalizacin Programa brinda capacitacin en el (Pg.56,
desarrollo de habilidades tecnolgica Penltimo
y uso de Enciclomedia tanto para Prrafo)
docentes, ATP y directores de
escuelas. Esto es una oportunidad
valiossima de alfabetizacin digital.
4. Introduccin 4. Transformacin del libro de Introduccin No Aplica
texto en formato multimedia e (Pg.03,
hipertextual trae consigo Prrafo 3)
significativas oportunidades de
explotar a travs de nuevos formatos
los contenidos escolares,
estimulando el desarrollo de la
imaginacin y la capacidad
relacional de los educandos.
5. Diseo 5. El Programa se encuentra Pregunta N 7 No Aplica
claramente alineado con los (Pg.12,
objetivos 9 y 11 del eje Igualdad Prrafo 1)
de oportunidades del Plan
Nacional de Desarrollo.
Enciclomedia contribuye a promover
el acceso y el uso de tecnologas de
cmputo en el aula para la
enseanza de los contenidos
curriculares, como indica el PND.

109/114
 TR1

Debilidad o Amenaza

1. Diseo 1. El Programa ha priorizado Pregunta N 10 1. Implementar acciones que contribuyan a

bsicamente el equipamiento (Pg.15, reforzar y evaluar el impacto educativo de
tecnolgico. Este esfuerzo no ha Prrafo 2) Enciclomedia en el desarrollo de nuevas
ido acompaado de manera competencias en los pblicos objetivos. Esto
suficiente en estrategias que den requiere de un incremento presupuestal
seguimiento a la mejora educativa sustantivo a los componentes de
(insuficiente seguimiento a las capacitacin y evaluacin (colaboracin con
capacitaciones, carencia de entidades federativas).
evaluaciones de impacto, entre
otros).
2. Operacin 2. La falta de ROP y de otros Pregunta N 57 2. Elaborar un marco regulatorio, estratgico
documentos normativos le resta (Pg.62, y de planificacin que contribuya a
transparencia a la gestin del Prrafo 1) establecer, unificar e integrar las pautas de
Programa. Asimismo, aunque esto operacin del Programa. Ej: ROP, Plan
no se pudo observar, es posible que Estratgico, Estndares Tecnolgicos, entre
entorpezca la operacin, pues no otros.
hay definicin clara respecto de las
responsabilidades de cada uno de
los actores involucrados.
3. Diseo 3. Hay serias carencias en la Pregunta N 21 3. Avanzar en una mejora en el diseo de la
lgica vertical y horizontal de la MML, con el fin de corregir algunas
MML. sta se centra en acciones e (Pg.26, debilidades, evitando ambigedades, definir
indicadores orientados a controlar Prrafo 1) un problema central, mejorando los
los aspectos relacionados con el indicadores, atendiendo el aspecto educativo
equipamiento de la plataforma de y considerando nuevos instrumentos. (Ver
Enciclomedia en la escuela. Faltan anexo VI).
acciones e indicadores para
identificar la mejora educativa.
4. Operacin 4. El acelerado crecimiento del Pregunta N 85 4. Recuperar del Documento Base la idea
Programa ha hecho difcil (Pg.90, de incluir un componente, en el diseo del
mantener su control. Esto se Prrafo final) Programa, de seguimiento y evaluacin
manifiesta en la insuficiente que apoye la coordinacin, transparencia y
informacin de seguimiento que control de la ejecucin de Enciclomedia.
dispone el equipo coordinador de
Enciclomedia, as como en la
desarticulacin con la que operan los
diferentes actores involucrados.

5. Diseo 5. Falta de claridad. Aunque el Pregunta N 3 5. Elaborar un Plan Estratgico, alineado

diseo del Enciclomedia define el (Pg.08, con el Programa Sectorial y el PND; unificar
problema que busca resolver, ste Prrafo 1) la informacin plasmada en los distintos
no guarda relacin con documentos relacionados con el Programa
planteamiento del resto de (MML, Plan Anual, etc.); incorporar en esta
materiales del Programa nueva etapa las lecciones aprendidas en
(ambigedad y confusin entre cinco aos de operacin del Programa.
brecha y alfabetizacin digital,
nuevas habilidades para la vida, etc.)

110/114
 TR1

XVIII. CONCLUSIONES

Primera Parte:

A continuacin se presenta un resumen con las principales conclusiones, observaciones y

anlisis que los evaluadores realizaron en torno al Programa Enciclomedia.

Diseo: La evaluacin de este Programa evidenci que existen diferencias sustantivas entre la
informacin de los documentos que definen las bases de Enciclomedia 54 y el enfoque de la Matriz
de Marco Lgico (MML) utilizada como referencia para la evaluacin de este Programa. En
trminos generales, el nfasis que establece el Documento Base en contribuir a la mejora de la
calidad de la educacin no guarda una estrecha relacin con lo estipulado en la MML de
Enciclomedia. Si bien, la Matriz plantea como Fin contribuir a fortalecer los procesos de
enseanza aprendizaje con el uso de las tecnologas de informacin, su acento est
principalmente en aspectos relacionados con el equipamiento y la cobertura tecnolgica. Resulta
evidente que el aspecto de infraestructura ha conseguido la mayor atencin, focalizacin de
recursos y seguimiento frente a aquellos componentes relacionados con una mejora en la calidad
de la educacin. Todos estos elementos permiten concluir que el diseo del Programa requiere
unificar criterios y definiciones y, por sobre todo, necesita atender con mayor prioridad el
componente educativo.
Planeacin estratgica: La revisin documental evidencia que, dado que no existe un Plan
Estratgico, las actividades han estado restringidas a cumplir los compromisos y metas
definidos por la administracin pasada (2000-2006). Por tanto, la operacin de Enciclomedia se
concentran bsicamente en ampliar su cobertura, sin lograr an alcanzar la meta prevista para
2007, mantener funcionando las aulas que ya se encuentran equipadas y capacitar a los
docentes que trabajan en dichas aulas. La ausencia de documentos que evidencien una
planificacin con visin estratgica ha ido en desmedro de las posibilidades implementar planes
a mediano y largo plazo.55
Cobertura y focalizacin: Dada la claridad y especificidad con que se defini el pblico
beneficiario del Programa, se pueden reconocer significativos avances en materia de cobertura.
Sin embargo, an quedan acciones por realizar tanto para atender el universo de aulas de 5 y 6
como en relacin con el nmero de docentes capacitados. Por otra parte, resulta pendiente
definir si, tal como anuncia el Documento Base, se har la ampliacin de la cobertura a otros
54 Los insumos ms importantes en este tema han sido el Documento Base, el Libro Blanco y los Lineamientos de operacin del Programa, aunque
tambin han sido consultados otros materiales.
55 Cabe hacer notar que se encuentran contradicciones en los planteamientos de los distintos documentos que podran fundamentar la planeacin
estratgica (por ejemplo, comparar el Documento Base con los reportes de SISEVAL y el Plan Anual).

111/114
 TR1

grados de primaria y secundaria a fin de hacer de sta una iniciativa transversal, o la

transformacin de Enciclomedia a la que hace referencia el Programa Sectorial de Educacin no
contempla un crecimiento de su poblacin objetivo.
Operacin: La ejecucin del Programa no se encuentra claramente regulada, pues hasta la
fecha no est sujeto a Reglas de Operacin. Se considera que uno de los principales desafos de
los responsables del Programa es construir, durante los prximos meses, reglas claras en las
que cada una de las instancias que participa en la operacin encuentre definidas sus funciones,
responsabilidades, lneas de articulacin, mecanismos de transparencia y rendicin de cuentas.
Asimismo, debern determinarse indicadores precisos que permitan medir los avances y tomar
decisiones con oportunidad.
Percepcin de la poblacin objetivo (PO): La revisin documental y las entrevistas evidencian
que no existen evaluaciones que recopilen y sistematicen la percepcin de la PO. Esta carencia
guarda relacin con el nfasis que el Programa ha puesto en el equipamiento. De igual modo,
este dficit evidencia la necesidad de avanzar en: caracterizacin de la PO (niveles de
apropiacin tecnolgica); evaluacin de la calidad de la capacitacin; identificar las tipologas de
usos de la herramienta, los grados de usabilidad, satisfaccin y accesibilidad con que los
usuarios evalan la plataforma de Enciclomedia.
Resultados: Si bien el Programa cuenta con una gran cantidad de recursos, reportes,
indicadores e informes, no se cuenta con elementos para conocer el impacto del Programa en las
prcticas pedaggicas de los docentes y los aprendizajes de los alumnos. Por otra parte, el
Programa necesitar contar con insumos y recursos para evaluar de manera permanente e
integral su ejecucin, a fin de conocer los diferentes tipos de efectos que Enciclomedia genera en
los profesores y estudiantes. La inclusin de estas prcticas brindarn elementos para optimizar
su actual funcionamiento.

Segunda Parte

A la luz de las fuentes consultadas, es posible concluir que el Programa Enciclomedia ofrece
sustantivas potencialidades para estimular la generacin de nuevas prcticas pedaggicas e
incentivar el desarrollo de competencias para la vida en las nias y los nios que actualmente
cursan 5 y 6 de primaria en el pas. Es importante sealar que esta tecnologa en el aula no
traer resultados inmediatos, sino que estimular a mediano y largo plazo la formacin de
nuevas habilidades, capacidades y destrezas, acordes a los requerimientos de una sociedad del

112/114
 TR1

conocimiento, que asigna especial valor a las competencias relacionadas con el uso de la
informacin y el conocimiento.

Es indispensable que este Programa optimice los sistemas de recoleccin, sistematizacin y

actualizacin de la informacin relacionada con sus procedimientos, normativas, gestin,
regulacin, monitoreo y seguimiento. De igual manera, se recomienda asignar un valor especial a
los documentos fundacionales que ofrecen una visin integral de la problemtica y los
objetivos que se pueden alcanzar con Enciclomedia.

ste es un Programa que fortalece las capacidades de los educandos ms all de la simple
transferencia de conocimientos, por tanto se recomienda replantear el Fin y Propsito del
Programa (ver MML), as como los indicadores e instrumentos que se estn utilizando para
evaluar sus resultados e impacto.

La revisin documental y las entrevistas a los responsables del Programa evidencian que la
operacin de Enciclomedia, as como casi la totalidad del presupuesto, han estado concentrados
mayoritariamente en el equipamiento y soporte tcnico (pagos comprometidos a proveedores).
Se estima que esta focalizacin, en buena medida, ha ido en desmedro del impulso a las
estrategias pedaggicas.
Es sustantivo avanzar en la redefinicin de su operacin (dada la an inexistencia de ROP,
Plan Estratgico, Fichas Tcnicas) a fin de: redisear el esquema de pagos a proveedores;
transparentar el diseo, licitacin y contratacin de servicios a terceros; avanzar en la
federalizacin del Programa; favorecer la flexibilidad en los modos y medios para acceder a este
software educativo (en lnea o a travs de otros dispositivos); explorar la incorporacin de
software de cdigo abierto y hardware de bajo costo; contemplar la integracin y
complementariedad con otros programas afines, entre otros elementos.

Finalmente, para el xito de Enciclomedia es imperativo que, antes de seguir expandindose,

se revisen las vulnerabilidades aqu expresadas 56 y se asigne especial importancia al
componente pedaggico, al cual no siempre se le ha atribuido la relevancia que demanda. Esto
con el fin de resignificar esta iniciativa como un Programa que contribuye a mejorar la
calidad de la educacin, apoyado en la incorporacin de tecnologa educativa en el aula,
aspecto que trasciende con creces el componente de equipamiento tecnolgico y de
incorporacin de nuevos recursos para ensear los contenidos del Libro de Texto.

56 Es importante considerar que una parte significativa de las debilidades del Programa expuestas en este documento coinciden con lo que ya han
planteado otros autores.

113/114
 TR1

Bibliografa

Nota Importante: Para la elaboracin de esta evaluacin se realiz una amplia revisin
documental de reportes, notas, informes, borradores y otros insumos ofrecidos por los
responsables del Programa Enciclomedia a los evaluadores. Adems, se cont con una serie
de evaluaciones y estudios aplicados al mencionado Programa.

Esta informacin fue analizada por los evaluadores para este estudio y posteriormente
presentada a travs de una clasificacin bibliotecolgica, la cual se encuentra en el Anexo V.
Ah se podrn identificar dos registros bibliogrficos:

Anexo V a: Bases de Datos de Gabinete Utilizadas para el Anlisis de la Informacin

en Formato Electrnico. Evaluaciones hechas al Programa Enciclomedia. Total: 8
evaluaciones.
Anexo V b: Bases de Datos de Gabinete Utilizadas para el Anlisis de la Informacin
en Formato Electrnico. Documentos, Informes y Registros. Total: 246
documentos.
A continuacin se aaden documentos complementarios que fueron utilizados en la ltima
etapa de este estudio:

Cmara de Diputados (29.11.2007) Primer Informe de la Subcomisin para investigar y dar

seguimiento a todo lo relativo al Programa Enciclomedia de la Comisin de Educacin Pblica y
Servicios Educativos. Cmara de Diputados.

Centro de Educacin y Tecnologas (2006) Estndares en Tecnologa de la Informacin y la

Comunicacin para la Formacin Inicial Docente. Ministerio de Educacin de Chile. Disponible en:
http://portal.enlaces.cl/portales/tp3197633a5s46/documentos/200707191420080.Estandares.pdf

Cols, P. y De Pablos, 2004, La formacin del profesorado basada en redes de aprendizaje

virtual: aplicacin de la tcnica DAFO, Revista Teora de la Educacin: Educacin y Cultura en la
Sociedad de la Informacin, vol.5. Disponible en:
http://www.usal.es/~teoriaeducacion/rev_numero_05/n5_art_colas_pablos.htm

CONEVAL , 2007, Trminos de Referencia Uno (TR1).

CONEVAL , 2007, Criterios generales para dar respuestas a las preguntas de la evaluacin de
consistencia y resultados y de diseo 2007 de los programas federales.

OECD. 2005. Are Students Ready for a Technology-Rich World? What PISA Studies Tell Us.
Organisation for Economic Co-operation and Development (OECD). Disponible en
http://www.oecd.org/document/31/0,2340,en_32252351_32236173_35995743_1_1_1_1,00.html

UNESCO. 2008. ICT Competency Standards for Teachers: Competency Standards Modules.
United Nations Educational, Scientific and Cultural Organization. Disponible en:
http://unesdoc.unesco.org/images/0015/001562/156207e.pdf

114/114