Tema 4 COSECHA PROPIA
Tema 4 COSECHA PROPIA
Tema 4 COSECHA PROPIA
CONCEPTUALIZACIÓN.
Fernández-Ballesteros (1983) la define como “un proceso mediante el cual se trata de estimar, a
través de una metodología empírica, si se han alcanzado una serie de objetivos socialmente
relevantes”.
Según Rossi y Freeman (1993), la evaluación es más que la aplicación de métodos científicos. Es
también una actividad política y gerencial, un input en un complejo mosaico desde el que
emergen las decisiones políticas y la asignación de fondos para la planificación, diseño,
implementación y continuidad de programas para mejorar las condiciones humanas, en este
sentido, la investigación evaluativa debe verse como una parte integral de la política social y de
los movimientos de la administración pública. Por último, Chen (2005), desde la teoría de
sistemas, define la evaluación como uno de los cinco componentes de cualquier política o
programa. Este autor plantea que cualquier intervención, programa o política puede ser
conceptualizado en términos de inputs, transformaciones, outputs, contextos y retroalimentación.
Los inputs son recursos (financieros, tecnológicos, humanos o físicos) que se toman del contexto
para ser usados sistemáticamente a fin de sostener el programa. Las transformaciones
representan los procesos que pemiten convertir los inputs en outputs, y corresponden a la etapa
de implementación del programa. Los outputs son los resultados de las trasformaciones, y
conciernen al logro de los objetivos del programa. Los contextos se refieren a cualquier factor
que puede facilitar u obstaculizar la implementación del programa. Incluyen las normas sociales,
las estructuras políticas, las agencias financiadoras, los intereses grupales y las preocupaciones
de los ciudadanos. La retroalimentación tiene que ver con la información que proporciona la
evaluación para establecer si los inputs son adecuados y organizados, si las intervenciones se están
implementando apropiadamente, si se están alcanzando los objetivos, si los clientes reciben
servicios de calidad, y si los outputs demuestran que se están alcanzando las metas y satisfaciendo
las expectativas de las agencias y de los responsables de la toma de decisiones.
La evaluación es esencial para lograr el objetivo de la IPS y mejorar las condiciones sociales (se
cuenta con información científica para tomar decisiones sobre las intervenciones más eficaces
para satisfacer las necesidades de la población y modificar aquellos factores individuales o
situacionales que afectan su bienestar). La investigación evaluativa debe verse como una parte
integral de la política social y de los movimientos de la administración pública.
- Continuar/interrumpir el programa.
- Asignar recursos.
- OBJETIVAS: Medir, analizar y concluir sobre los hechos tal y como aparecen en la
realidad, sin contaminar con apreciaciones de los evaluadores.
- VÁLIDAS: Deben medir lo que dicen medir sin distorsiones y de manera demostrable
(resultados comprobables).
- CONFIABLES: Precisión y estabilidad de la medida (cuando la evaluación se aplica
repetidamente y por distintos evaluadores, los resultados deben ser los mismos).
- OPORTUNAS: Deben ser aplicadas en el momento adecuado, a fin de que no se
produzcan distorsiones con el paso del tiempo, al igual que las conclusiones de esta
evaluación.
- PRÁCTICAS: Deben estar condicionadas en cuanto a sus características por el destino
que se quiere dar a sus conclusiones y estas deben servir de sustento al proceso de toma
de decisiones.
Mixta Mixta
EVALUACIÓN DE LA PLANIFICACIÓN
EVALUACIÓN FORMATIVA.
EVALUACIÓN SUMATIVA
La evaluación sumativa se lleva a cabo al final de la intervención. Determina los efectos del
programa y valora su coste y beneficios (comparar la problemática social antes vs. después). No
siempre se puede llevar a cabo la evaluación de resultados de un programa por falta de capacidad
(rigor a la hora de llevar a cabo la intervención) y barreras (problemas insalvables para llevar a
cabo la intervención).
- Estudio de la EFICACIA: Grado o nivel de alcance del objetivo del programa y los
resultados de una actividad en una población beneficiaria y en un periodo temporal
determinado, sin considerar los costes para obtenerlos. Lo ideal sería un carácter
experimental, comparando grupo de intervención vs. grupo control (¿qué objetivos
cumplió el programa?, ¿qué cambios se observan en los participantes?, ¿en qué medida
estos cambios se deben al programa?).
- Estudio del IMPACTO: Efecto que la intervención tiene sobre la comunidad en general.
Es la magnitud cuantitativa del cambio en el problema social. Implica tener en cuenta
también los efectos secundarios positivos, negativos y no previstos sobre la sociedad en
general (¿qué efectos, tanto positivos como negativos, tuvo el programa?, ¿qué
consecuencias imprevistas o no intencionales se han detectado?, ¿qué contribución ha
hecho el programa al conjunto de la sociedad a largo plazo?).
• Diferencia con efectividad (juicio valorativo sobre los efectos del programa,
independientemente de que hayan previstos como objetivos).
- Estudio de la EFICIENCIA: Comparar los costes de un programa con sus resultados
(¿cuánto costó el programa?, ¿qué relación coste-efectividad tiene el programa respecto
a programas similares?, ¿qué relación coste-beneficio tiene el programa respecto al
ahorro que supone?).
OTROS CRITERIOS DE EVALUACIÓN
- ACCESIBILIDAD: Facilidad con la que los servicios pueden ser obtenidos de forma
equitativa por la población en relación con las barreras organizativas, económicas,
culturales, etc.
ESQUEMA TRADICIONAL
El esquema tradicional sigue el siguiente proceso para llevar a cabo la evaluación de un programa:
- VIABILIDAD de la evaluación: ¿Está bien definido el programa?, ¿están bien definidos los
objetivos y efectos esperados?, ¿se puede determinar si los objetivos se han conseguido?
- Análisis DATOS.
- INFORME: Se considerará como un paso más dentro del intercambio comunicativo (dado
que el contacto con las audiencias debe ser continuo) que se establece con los grupos
implicados en el programa desde el mismo comienzo de la evaluación.
ESQUEMA PARTICIPATIVO.
Las debilidades del esquema participativo son los problemas para identificar a las partes
interesadas y/o encontrar representantes adecuados para cada una de ellas, que estas partes
deseen participar y estén motivados para aceptar los resultados y que posteriormente utilicen
dichos resultados.
DISEÑOS E INSTRUMENTOS DE EVALUACIÓN
DISEÑOS DE INVESTIGACIÓN
Diseño EXPERIMENTAL
Los diseños experimentales se caracterizan por el control que tiene el evaluador de la variable
independiente (el programa objeto de evaluación) y por la asignación aleatoria de los
participantes a los grupos o condiciones de intervención y de comparación con base en algún
criterio determinado para controlar el efecto de variables extrañas que pudieran contaminar
los resultados de la evaluación. Los diseños experimentales son particularmente útiles cuando
con la evaluación se pretende demostrar la eficacia del programa. Es decir, cuando el objetivo es
determinar que los efectos observados son «causados» por la intervención (relación causa-
efecto) y no por factores externos que no están bajo el control del evaluador. Dentro de los
posibles diseños experimentales, el diseño más sencillo y el más utilizado en este contexto es el
diseño experimental de grupos aleatorios o intersujetos. En este caso, el evaluador compara los
resultados producidos en los participantes del programa con los resultados encontrados en
personas de la población diana que no han participado en él. El que un individuo de la población
diana sea incluido o no en el programa dependerá del azar. En una primera fase de este diseño
se elegirán los posibles candidatos a participar y estos se distribuirán o asignarán aleatoriamente
a un grupo que efectivamente participará en el programa (grupo experimental) y a otro que no
participará en él (grupo control). La asignación aleatoria es la propuesta clave de los diseños
experimentales para garantizar que los grupos de comparación sean lo más similares o
equivalentes posibles, y con ello poder descartar las variables extrañas relacionadas con las
diferencias individuales. De esta manera, los diseños experimentales suelen presentar una mayor
validez interna que otras posibilidades metodológicas.
Cabe señalar que el principal problema de estos diseños es que frecuentemente es difícil o
imposible realizar una asignación aleatoria (la selección aleatoria implica que las muestras
deben ser sustancialmente mayores que en otras alternativas), bien por problemas éticos o por
problemas prácticos. Así, en el caso de intervenciones donde se espera una mejora de la «calidad de
vida» de las personas que necesitan asistencia con cierta urgencia (por ejemplo, en los programas de
atención a niños víctimas de abuso sexual), puede ser muy discutible la formación de grupos control por
procedimientos aleatorios; el contra argumento reside en que si se realiza la evaluación es, precisamente,
porque no hay seguridad de que la intervención sea garantía de mejora. Para dar respuesta a este
problema, en algunos casos se recurre a la formación aleatoria de listas de espera. Los sujetos incluidos en
la lista de espera sólo servirán de grupo control durante el periodo de evaluación de resultados,
garantizándoles la posterior aplicación de la intervención en el caso de que el programa haya demostrado
su eficacia. En otras ocasiones, este mismo problema ético puede generarse sobre el grupo experimental,
como cuando se trata de contrastar el impacto de ciertas intervenciones innovadoras que podrían resultar
menos eficaces que la intervención estándar; en este caso el grupo experimental estaría en desventaja con
respecto al grupo control. Otro problema de la aplicación de los diseños experimentales en este
contexto tiene que ver con las modificaciones que se van produciendo en el propio programa
una vez realizada la distribución aleatoria de los participantes, lo que puede desvirtuar la calidad
del diseño de evaluación, la interpretación de los resultados y la utilidad del estudio.
Diseño CUASI-EXPERIMENTAL.
Cuando los diseños experimentales no se consideren una buena opción por alguno de los
motivos anteriormente comentados, se puede recurrir a diversas alternativas dentro de los
diseños cuasi-experimentales. En principio, estos diseños pierden en validez interna, ganando en
validez externa, aunque esta valoración demasiado generalista habría que ajustarla para cada
caso particular.
- Investigación etnográfica.
- Investigación-acción.
- Investigación-acción participativa.
- Observación participante.
- Estudios de casos.
TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN.
- OBSERVACIÓN.
- ENTREVISTA.
- CUESTIONARIO.
- ENCUESTA.
- REGISTROS.
- OTRAS TÉCNICAS.
INFORME DE EVALUACIÓN.
- Anexos: Se adjuntará toda aquella documentación de interés que ilustre el desarrollo del
proceso de evaluación (encuestas, cuestionarios, referencias documentales, etc.) y que
complemente los contenidos del informe.