LA EVALUACIÓN DE PROGRAMAS COMO INVESTIGACIÓN EVALUATIVA

La Evaluación de Programas es un proceso que busca generar comprensión útil sobre una
innovación o intervención, con el fin de utilizarla como recurso crítico para mejorar los
procesos educativos. Esto se entiende como un proceso de investigación evaluativa, que
implica una metodología específica y la participación activa de los destinatarios y usuarios
de los programas. Varios autores han contribuido al desarrollo de esta metodología en los
últimos años.

La investigación evaluativa se ha desarrollado con una metodología concreta en los

últimos quince años, que incluye una terminología propia, herramientas conceptuales y
analíticas específicas, y procesos y fases específicos. Este campo se caracteriza por la
interrelación entre la evaluación y la programación, la implicación de las partes interesadas,
la utilización de diferentes estrategias de investigación (tanto cuantitativas como
cualitativas) y la finalidad de determinar el valor de la acción educativa, buscar soluciones a
problemas o mejorar las estrategias de actuación. La naturaleza del programa y la pericia
del evaluador determinarán la utilización de una o varias opciones metodológicas.

Para generar información que permita tomar decisiones sobre la efectividad y eficacia de
un programa educativo. Aunque comparte algunos puntos en común con la investigación
científica, se diferencia de esta en que se enfoca en la evaluación de un programa
específico y está orientada a la toma de decisiones. Algunas de las características
peculiares de la investigación evaluativa incluyen la dificultad para formular hipótesis
precisas, la viabilidad del proceso de recogida de datos, el control superficial de algunas
variables relevantes y el hecho de que las decisiones importantes no son competencia del
evaluador. En resumen, la investigación evaluativa es una metodología rigurosa y
controlada que busca generar información válida y fiable para tomar decisiones sobre la
efectividad y eficacia de un programa educativo.

La investigación evaluativa se distingue de la investigación tradicional por su enfoque en

un proceso de intervención en tiempo real. Esta intervención es lo importante y la
investigación es secundaria. La evaluación de programas debe ser una estrategia de
investigación sobre los procesos educativos, cuyos resultados se utilizarán para orientar los
procesos de intervención. La investigación y la intervención se apoyan mutuamente y la
investigación activa se enriquece al aplicarse en situaciones prácticas. La investigación
orientada, también conocida como investigación evaluativa, surge para dar respuesta a las
necesidades sociales y se elabora en función de tales necesidades. El diseño en la
evaluación de programas puede referirse a la planificación general del proceso de
intervención o a la planificación puntual del análisis de los efectos de la intervención.
EL DISEÑO EN LA EVALUACIÓN DE PROGRAMAS

El diseño de evaluación de programas es un plan que establece las medidas y el

momento en que se llevarán a cabo durante el proceso de evaluación. Antes de
diseñar la evaluación, es importante reflexionar sobre el concepto general de
evaluación y las finalidades de las diferentes opciones metodológicas. Además, se
deben considerar los fundamentos de la evaluación, los objetivos, los elementos
personales implicados en el programa, los ámbitos de intervención, los
instrumentos de recogida de datos, las técnicas de análisis y los momentos de la
evaluación. Estos elementos varían según la perspectiva o enfoque que se siga.

La planificación de una evaluación debe atender a numerosos elementos, como las

condiciones organizacionales, las necesidades, los intereses y los valores de los
implicados en el proceso, los objetivos del programa y los recursos necesarios y
disponibles.

El diseño de evaluación de programas tiene dos elementos básicos: la

determinación de los datos necesarios para valorar la eficacia del programa y el
plan para obtener la información necesaria que permita establecer relaciones entre
el programa y los resultados obtenidos.

Para delimitar el diseño de una evaluación, es importante considerar aspectos

como si se establecerán las pautas que se seguirán en el proceso evaluativo, si los
resultados de la evaluación se utilizarán para mejorar el programa o para emitir un
informe sobre su funcionamiento o ambas cosas a la vez, y si se incluirán procesos
de intervención o solo se describirá el funcionamiento del programa. En el último
caso, se requerirá un diseño de investigación para analizar los efectos de la
intervención.
Diseños prefijados vs emergentes

Este artículo discute la diferencia entre los diseños de evaluación "prefijados" y

"emergentes". Los diseños prefijados son estructurados y planeados con
anterioridad, estableciendo problemas y objetivos, fuentes de información,
instrumentos, temporalización y destinatarios de informes. Estos diseños se
basan en el modelo positivista y se centran en la consecución de objetivos y en
la valoración cuantitativa de los resultados. Sin embargo, estos diseños resultan
difíciles de realizar debido a que las cosas no se desarrollan siempre como se
esperaba.

En contraste, los diseños emergentes son más flexibles y se adaptan a las

necesidades e intereses de los participantes. Estos diseños están abiertos a
posibles modificaciones durante el desarrollo del programa y se caracterizan
por una reformulación constante de los objetivos del programa. Los datos
suelen ser de carácter cualitativo y se valora todo aquello que se aproxima a los
paradigmas interpretativo y crítico.

Sin embargo, se argumenta que no existe una dicotomía entre los diseños
prefijados y emergentes. El diseño de evaluación debe ser establecido a priori,
respondiendo a la concepción teórica que tienen los responsables del programa
y el evaluador, pero también debe permitir la incorporación de nuevos
elementos durante el desarrollo del programa. Es importante incluir referencias
a los objetivos del programa, sus componentes, los recursos necesarios, las
estrategias de recogida y análisis de datos, las posibles decisiones que puedan
derivarse de su desarrollo y la presentación y difusión de los resultados.

Diseños prefijados vs emergentes

Cronbach extendió los términos "formativo" y "sumativo" de Scriven al ámbito de la

evaluación de programas a partir de 1980. La evaluación formativa es importante en el
proceso de desarrollo del programa ya que proporciona retroalimentación para mejorar su
funcionamiento e incorporar cambios. La evaluación sumativa, por otro lado, se relaciona
con la terminación del proceso de intervención y nos informa sobre los resultados
obtenidos y las necesidades que se han satisfecho. La evaluación formativa se enfoca en la
mejora del programa mientras que la evaluación sumativa ofrece un juicio sobre la
satisfacción de necesidades y/o la consecución de objetivos. El evaluador en la evaluación
formativa es parte del equipo técnico del programa mientras que en la evaluación
sumativa debe ser ajeno para favorecer la objetividad.
El texto describe los cuatro tipos de evaluación que deben llevarse a cabo en el
proceso de investigación para la puesta en marcha de un programa de
intervención.

El primer tipo es la evaluación de necesidades, que es la primera actividad que

debe llevarse a cabo. Esta fase del proceso de investigación evalúa las necesidades
del grupo de personas al que va dirigido el programa.

El segundo tipo es la evaluación del diseño, también conocida como evaluación de

entrada. Este tipo de evaluación se centra en la calidad del plan de acción, los
recursos del programa y la selección de estrategias que mejor se adapten a las
necesidades detectadas.

El tercer tipo es la evaluación de la implementación, que analiza el funcionamiento

del programa y determina si existen diferencias entre el funcionamiento real y el
previsto inicialmente.

El cuarto tipo es la evaluación de resultados, que analiza el grado en que el

programa consigue los resultados previstos. La evaluación de resultados puede ser
de verificación o comprensiva y utiliza tanto datos cuantitativos como cualitativos.

5) Metaevaluación
Los elementos a considerar serán las pautas de cambio estratégico en la intervención
y en la planificación evaluativa

3. LOS DISEÑOS DE INVESTIGACIÓN EN LA EVALUACIÓN DE PROGRAMAS

A) El entorno cuantitativo

la evaluación de programas educativos requiere de un diseño de investigación adecuado

para obtener información relevante y tomar decisiones apropiadas. Existen varios diseños
de evaluación que pueden variar desde experimentos de campo hasta descripciones
naturalistas y correlacionales. Se pueden clasificar en diseños cuantitativos y cualitativos.
Los diseños cuantitativos incluyen diseños descriptivos-comparativos, longitudinales,
correlacionales, causales y experimentales. Los diseños cualitativos incluyen observación
naturalista y diseños participativos-críticos.

El entorno cuantitativo se refiere al uso del método científico y de técnicas cuantitativas

para estudiar las relaciones entre variables independientes y dependientes. El diseño
experimental es una técnica clave en este enfoque, que implica la manipulación intencional
de las variables independientes y el control de las variables intervinientes para establecer
relaciones causales entre ellas. Los experimentos de campo, que se realizan en condiciones
naturales, son una variante de los diseños experimentales que presentan mayor validez
externa, aunque con una reducción de la validez interna. Cuando no es posible establecer
un control efectivo sobre las variables intervinientes, se pueden utilizar diseños de control
parcial o cuasi-experimentos, aunque estos presentan limitaciones en la capacidad de
establecer relaciones causales. Las críticas al método experimental se centran en su
artificialidad y reduccionismo de la realidad que pretende explicar.

B) La observación (científica y naturalista)

La observación es una técnica metodológica importante en la Evaluación de

Programas que debe ser realizada científicamente utilizando diferentes
modalidades metodológicas, como la observación sistemática, participativa o
externa, para lograr el máximo control y objetividad de la realidad educativa. La
observación desempeña un papel importante en la investigación científica al
proporcionar hechos y descubrir patrones que permiten la formación de teorías. La
observación científica supone la selección deliberada de algún aspecto significativo
de los fenómenos, un detenido examen que puede requerir el uso de
procedimientos e instrumentos de precisión y la presentación de resultados.

La observación tiene como objetivo obtener información sobre algo y debe ser
realizada en condiciones específicamente establecidas. En el contexto de la
Evaluación de Programas, la observación naturalista se caracteriza porque el
análisis de la realidad se basa en la observación de los comportamientos naturales
del grupo social de referencia. El diseño determina la posibilidad de detectar y
comprender los procesos y el impacto de un programa educativo.

Existen numerosas técnicas de observación, que se generan en función del

ambiente en que se realiza, de la utilización o no de registros observacionales y de
la actitud que adopte el investigador respecto al proceso social observado. El
método observacional requiere definir las metas del estudio, establecer las
muestras que serán observadas, decidir si la observación será participante o no,
muestrear los ambientes y situaciones en que se desarrollará, establecer el
procedimiento de recogida de datos, fijar las categorías de clasificación de las
conductas a observar y considerar las posibles técnicas de organización y análisis
de datos.
Las ventajas fundamentales de la observación son la posibilidad de estudiar
conductas no verbales y estudiar comportamientos en toda su complejidad. Sus
principales inconvenientes son la carencia de información sobre variables
antecedentes que puedan ayudar a describir los hechos observados, los riesgos de
carga subjetiva, los riesgos de reactividad de la presencia del observador, la
dificultad de establecer categorías claras que orienten los registros, la utilización de
muestras reducidas, el entrenamiento de los distintos observadores y las
dificultades del investigador para introducirse en el ambiente que se desea
observar.

C) El entorno interpretativo-crítico

Elaborar un diseño desde una perspectiva crítica implica aceptar ciertas premisas
básicas, como la estrecha vinculación del diseño con la acción-intervención, la
participación de los receptores del programa como agentes de la evaluación, la
realización de procesos evaluativos por los implicados y la secuencia evaluativa
cíclica que comienza con el diagnóstico y termina en la valoración global del
contexto social y personal.

La investigación en acción implica la síntesis de dos dimensiones indisociables de

un mismo proyecto y su finalidad es tanto explicativa como normativa. La
investigación-acción se define como el estudio de una situación social con el fin de
mejorar la calidad de la acción dentro de la misma.

La investigación-acción propuesta por Kurt Lewin es una actividad desarrollada por

grupos o comunidades con el propósito de cambiar las circunstancias de acuerdo
con una idea compartida. Es una práctica social reflexiva donde no existe ninguna
distinción entre la práctica que se investiga y el proceso de investigación de esa
práctica.

Lewin estableció un proceso disciplinado de investigación en la acción, con un

claro paralelismo con el método científico, y articulado en una espiral de
actividades realizadas en un orden específico.

La investigación participativa representa una propuesta metodológica para el

cambio social que implica conocer transformando.
1. El enfoque mixto en la evaluación de programas combina tanto métodos cuantitativos como
cualitativos, con el objetivo de obtener una comprensión más completa y profunda de la
efectividad y eficacia de un programa educativo. Esta combinación de métodos puede
proporcionar una visión más amplia de los procesos educativos, ya que cada enfoque aporta
diferentes perspectivas y habilidades analíticas. Además, el enfoque mixto puede ayudar a reducir
los posibles sesgos y limitaciones inherentes a cada método individual.

Sin embargo, es importante tener en cuenta que el enfoque mixto requiere un conocimiento
profundo de los métodos cuantitativos y cualitativos, así como de las teorías y marcos
conceptuales en los que se basan. También es crucial que los datos cualitativos y cuantitativos se
integren de manera coherente y cohesiva en la evaluación, lo que puede requerir habilidades
analíticas y metodológicas específicas.

Además, el enfoque mixto puede requerir un mayor tiempo y recursos, ya que la recolección y
análisis de datos cuantitativos y cualitativos puede ser un proceso más complejo y extenso que
utilizar un solo método. Por lo tanto, la elección de un enfoque mixto debe basarse en la
comprensión de las ventajas y desventajas de cada método individual, así como en la capacidad de
manejar adecuadamente los datos recolectados.

En resumen, el enfoque mixto en la evaluación de programas puede proporcionar una

comprensión más completa y profunda de los procesos educativos y su efectividad, pero requiere
un conocimiento profundo y habilidades analíticas específicas para integrar adecuadamente los
métodos cuantitativos y cualitativos. La elección de un enfoque mixto debe basarse en una
comprensión clara de las ventajas y desventajas de cada método individual, así como en la
capacidad de manejar adecuadamente los datos recolectados.

2. En la evaluación de programas educativos, la elección del método es esencial para generar

información útil que permita tomar decisiones sobre la efectividad y eficacia del programa en
cuestión. Algunos factores que deben considerarse al elegir un diseño incluyen la naturaleza del
programa, la pericia del evaluador, la viabilidad del proceso de recopilación de datos, el control
superficial de algunas variables relevantes y el hecho de que las decisiones importantes no son
competencia del evaluador.

La investigación evaluativa se diferencia de la investigación científica en que se enfoca en la

evaluación de un programa específico y está orientada a la toma de decisiones. El diseño de
evaluación de programas debe considerar los elementos organizacionales, las necesidades, los
intereses y los valores de los implicados en el proceso, los objetivos del programa y los recursos
necesarios y disponibles.

En cuanto a los diseños de evaluación, existen dos tipos: los diseños prefijados y los diseños
emergentes. Los diseños prefijados son estructurados y planeados con anterioridad, estableciendo
problemas y objetivos, fuentes de información, instrumentos, temporalización y destinatarios de
informes. Mientras que los diseños emergentes permiten ajustar la metodología en función de la
información que se va recopilando durante el proceso de evaluación.
3. La evaluación de programas es un proceso riguroso y controlado que busca generar información
válida y fiable para tomar decisiones sobre la efectividad y eficacia de un programa educativo. La
investigación evaluativa se diferencia de la investigación científica tradicional en que se enfoca en
la evaluación de un programa específico y está orientada a la toma de decisiones. El diseño de
evaluación de programas es un plan que establece las medidas y el momento en que se llevarán a
cabo durante el proceso de evaluación. El diseño puede ser prefijado o emergente, y ambos tienen
ventajas y desventajas. En cuanto a la pregunta planteada sobre si es más importante el diseño
utilizado o el programa en sí mismo, se puede decir que ambos son importantes, pero es el diseño
el que garantiza la validez y fiabilidad de los resultados de la evaluación, por lo que es esencial
prestar atención a su calidad y coherencia con los objetivos de la evaluación y del programa.