TEMA 1: LA EVALUACIÓN EN EL ANÁLISIS DE

POLÍTICAS PÚBLICAS.
INTRODUCCIÓN. CICLO DE POLÍTICAS PUBLICAS

- Definición del problema

- Entrada en la agenda
- Toma de decisiones
- Implementación
- Evaluación

La evaluación sería una especie de auditoría y lo importante es la verificación de los objetivos y metas y
establece recomendaciones sobre si hay que mejorar esa decisión o no. Esto conecta con la formulación de
nuevos problemas y hace que sea un ciclo continuo.

La evaluación se hace al final de la política pública, en un principio la evaluación se establecía sobre esa fase
final que sería el origen, pero se ha ido evolucionando se han empezado a evaluar más cuestiones y la
evaluación conecta con cada una de las fases. Por ejemplo, se puede hacer una evaluación del diagnóstico, de
los objetivos, de la implementación y se puede hacer incluso una evaluación de la propia evaluación que se ha
hecho.

DEFINICION Y CONCEPTO DE EVALUACIÓN.

¿Por qué es necesaria? Por la falta de certitud a la hora de llevar a cabo una política pública. No se conocen
los resultados, ni los esperados ni los impactos y solo tenemos una información parcial de la realidad, por ello
con la evaluación tenemos un conocimiento más amplio.

- Es la última fase del proceso de la política pública, pero al ser cíclico se retroalimenta a la primera
- Es un instrumento técnico una herramienta política de primer orden, ya que ayuda a justificar la
implementación y ejecución de una política pública.
- La justificación ultima de la evaluación sería el ejercicio de la responsabilidad política y la búsqueda de lo
que se ha denominado la eficacia democrática. (Bañón y Carrillo 1994). Es decir, el responsable político
en esta fase, la evaluación sirve para ver o tomar decisiones en cuanto a la ejecución de esa acción y es
como un ejercicio de responsabilidad política.
- Además, incluye estudios de percepción de los ciudadanos, es decir, cuando se evalúa una PP se incluye
cuestiones para evaluar el impacto que tiene sobre los ciudadanos.
- Ecuación: escasez de recursos y necesidad de eficacia que demanda la sociedad (Martínez del Olmo 2006).
Es decir, esa limitación haría necesaria la ejecución de esa evaluación.
- Los beneficios derivados de la evaluación superan los costes
- Tanto los modelos como los enfoques han ido evolucionando paralelamente al desarrollo del Análisis de
Políticas Públicas.

1
Razones para evaluar políticas públicas:

- Los procesos sociales sobre los que se quiere influir se conocen solo parcialmente
- La información es imperfecta: base de la definición de problemas y elección de alternativas
- Condicionamientos políticos = búsqueda de consenso y soluciones de compromiso
- Desviación de objetivos (es decir: en conocimientos y habilidades de la organización)
- Impactos imprevistos de las políticas. Los impactos que provoca la política pueden ser previstos o
imprevistos (no se prevén a priori que se puedan conseguir).

DEFINICIÓN Se desarrolla a partir de los años 80s.

Es complejo sintetizar una definición unánime sobre la evaluación, incluso tenemos una indefinición
terminológica.

La evaluación es definida por el Joint Committee Standard Education: recoger y analizar sistemáticamente
una información para poder determinar el valor o mérito de una intervención. Por lo tanto, tenemos una
parte importante que es la de metodología. Vamos a tener un valor o índice y para una intervención, que se
refiere al ámbito educativo en un momento. Se recogen datos que nos permitan establecer el valor o merito
que tiene esa actuación, es muy similar al método científico. 2006: AEVAL 2016: INSITUTO
2023 AGENCIA PARA LA EVALUACIÓN DE PP.

Otras definiciones de evaluación según diferentes autores:

- Tyler 1950 establece que la evaluación es el proceso de determinar en qué medida los objetivos de un
programa se han alcanzado. Tenemos un programa donde se establecen unos objetivos y tenemos que
ver cual es el grado de consecución de esos objetivos.
- Investigación sistémica del valor o mérito de un objeto (Joint Commitee for Educational Evaluation,
1981). Una investigación sistemática es aplicar una metodología para obtener una información o resultado
siguiendo un método, lleva unas fases que te permite ver cuanto se consigue de un objetivo.
- La provisión de información para la toma de decisiones sobre una intervención. (Cronbach, 1981). Tengo
una intervención y busco información sobre eso.
- La aplicación de métodos de investigación sistemáticos para la evaluación del diseño, implementación y
efectividad de un programa (Chelimsky, 1985). Entramos ya en más cuestiones ya entra en fases anteriores
de la política pública, por ejemplo, ya evalúa la formulación.
- Emitir un juicio sobre el valor de la acción pública (Viveret, 1989). Se trata de un juicio de valor objetivo,
emitimos una valoración sobre la acción del gobierno con un carácter objetivo.
- Iniciativa pluralista cuyo núcleo es el sistema de actores implicados y cuyo propósito estriba en valorar la
fundamentación de una intervención pública, basándose para la comparación de sus efectos con sistema
de valores vigentes (Monnier, 1995).iniciativa plural, en la que hay varios métodos de evaluación.
- Práctica sería de argumentación basada en información pertinente sobre los efectos de una política (Roth,
2002).

Definición de evaluación de Ballart:

Se define como la producción de información que sirva a los gestores públicos para tener una idea sobre la
calidad de los servicios que se están produciendo, en función de lo que se estime como valor.

2
La evaluación es la técnica que busca producir información útil a las Administraciones Públicas para mejorar:

- Los procesos de decisión y planificación.

- El funcionamiento y la gestión de las operaciones diarias.
- Los resultados finales en relación a los recursos invertidos.

EVOLUCIÓN DE LOS ESTUDIOS SOBRE EVALUACIÓN.

Comienzan en los años cincuenta.

1ª etapa: análisis de los resultados (output) o impacto (outcome) de la política pública. Identificar los efectos
de una acción (cuantificada), centrada en los output y outcome. Se centraba en las políticas ya finalizadas y
tiene un carácter técnico y más cuantitativo.

2ª etapa: no se centra sólo en políticas públicas ya finalizadas, sino también en curso, con un carácter técnico
y político.

3ª etapa: evaluación comprehensiva. Es una evaluación global, de concepto, diseño, implementación y utilidad
de los programas de intervención social, esencialmente política.

OBJETIVOS DE LA EVALUACIÓN

MOTIVACIONES O ACTITUDES DEL PROCESO EVALUADOR (MANY Y THOENING , 1995)

Normalmente las actitudes se encuentran entremezcladas:

- Actitud descriptiva: registrar las variaciones que se dan en un medio social como consecuencia de la
política pública puesta en marcha. Normalmente tenemos una PP que tiene un inicio por ejemplo en el
año natural de 2022, para poder registrar una variación necesito dos mediciones. Por ejemplo, midiendo
los alumnos de clase el primer día hago una medición 44, el segundo día 33, el tercer día 37… es decir
tendríamos un registro de las variaciones que se dan con la política pública. Se trata de una medición que
se va repitiendo en el tiempo sobre una misma población.
- Actitud clínica: explicar los cambios sociales que se han provocado por la política pública. Aquí se tiene en
cuenta los efectos inesperados y las externalidades que se pueden producir.
- Actitud normativa: se indica como el evaluador cree que el medio social debería reaccionar ante una
política concreta. Aquí el evaluador establecería sus juicios de valor
- Actitud experimental: se busca explicar las relaciones causales para explicar el éxito o el fracaso de la
aplicación de una política pública. Cuando hablamos de relaciones causales es que A provoca un efecto en
B y A en el tiempo es previo a B, solamente en este contexto tenemos A y B porque si hay otra variable no
estamos hablando de relaciones de causalidad. Vamos a ver si esa política pública, esa acción ha tenido
ese efecto esperado.

OBJETIVOS DE LA EVALUCIACIÓN (MARTÍNEZ DEL OLMO 2006)

Cada autor va a establecer diferentes motivaciones, las 3 principales son evaluación para la mejora, para la
rendición de cuentas y evaluación generadora de conocimiento. Vienen muchas veces acompañadas de otros
términos.

3
Si el objetivo es proporcionar una información útil que facilite el proceso de toma de decisiones y que mejore
la acción de los poderes públicos, podemos distinguir tres grandes objetivos o funciones:

1. Evaluación como base para mejorar o perfeccionar. Las preguntas irán en la dirección de cómo mejorar la
efectividad y eficiencia de un programa o política.

2. Evaluación como rendición de cuentas. Facilitar la información a los responsables para la toma de
decisiones respecto a la continuación o no del proyecto, asignación de recursos o modificación de la política.
Seria esa evaluación que podemos llamar evaluación de recapitulación o de responsabilidad. El objetivo sería
buscar u obtener información que ayude a esos decisores para que tomen la decisión, nos interesa la búsqueda
de información.

3. Evaluación como generador de conocimientos. Como proceso político, puede tener otras intenciones:
control e inspección por fines determinados, legitimación de un programa, justificar una decisión ya tomada
Hay un grupo de autores que afirman que la evaluación genera conocimiento científico.
anteriormente, etc.hay otro grupo que considera que la ev. es generadota de conocimiento no científico, un conocimiento de 2 categoría.
Hay otra corriente que considera que constituye un conocimiento básico y un efecto colateral, no entra tanto en el
caraácter sino que la ev. no se hace para tener conocimiento, sino que se trata de un efecto colateral
PROPÓSITOS DE LA EVALUACI ÓN DE BALLART.

- Compensación, ilustración (enlightenment). Comprender que está pasando y cómo funciona el programa.
La evaluación suele producir un cambio, dota de nuevos significados sobre la realidad del programa y su
intervención.
- La retroalimentación o mejora (improvement). Es una manera de recibir el feedback de los programas
que se están llevando a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de
aprendizaje de la propia intervención.
- El control de responsabilidades y rendimiento de cuentas. Rendir cuentas en la acepción más flexible del
término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad
social y política, especialmente si las actividades llevadas a cabo de financian con fondos públicos ya que
el contribuyente tiene derecho a saber en qué y cómo se está empleado el dinero público.

FASES DE LA EVALUACIÓN: PROCESO SISTEM ÁTICO

1. Motivación para evaluar

2. Definición de unidad y análisis de contexto
3. Necesidades informativas. Serian esa información que es necesaria para poder realizar la evaluación.
4. Criterios de valor, preguntas relevantes. Seria un poco esa forma de enjuiciar o establecer cual seria el
objetivo ultimo de forma cuantitativa, es decir, buscar un poco ese impacto previsto que tiene la política
pública.
5. Operacionalización de criterios e indicadores. Seria el tema de como pasamos esos criterios de valor de
la fase anterior como creamos con ellos indicadores para poder realizar la medición.
6. Diseño metodológico. Cada uno de los diferentes diseños posibles que se utilizan, es posible que cada
evaluación responda a un diseño diferente.
7. Búsqueda de fuentes y diseño de técnicas. Si por ejemplo tenemos que usar entrevistas, encuestas…
8. Trabajo de campo
9. Datos

4
10. Interpretaciones. Hay que interpretar los datos que podríamos asimilar a la fase de análisis de como se ha
implementado la política pública.
11. Juicios
12. Recomendaciones. La evaluación lleva consigo siempre una serie de recomendaciones sobre cómo debe
de actuar esa política pública en términos de qué mejorar en la gestión, en la formulación… que de idea
ese decisor político como al que la tiene que ejecutar en términos de mejora o incluso de eliminación.
13. Comunicación de resultados. Sería la presentación del informe final

El marco previo de referencia está compuesto por la fase de diagnóstico y de formulación del proyecto. En el
diagnostico se conoce el estado previo de la política pública, es decir, es lo que le da pie al decisor político
para la creación de la política pública.

ANALISIS POSIBLES DE LA EVALUACION

- Se ajusta el programa o dispositivo a las necesidades prioritarias de la población. Si no es así, ¿cuáles son
las dificultades con las que se encuentra?
- Se explicita el análisis de causalidad que sustenta la intervención que a veces está implícito.
- El programa contribuye a lograr los cambios deseados. Hay que tener en cuenta la temporalidad cuando
se está evaluando.
- Se constata la congruencia del modelo, ¿es lógico?
o Análisis de la coherencia interna
o Revisión de sus componentes: ¿son necesarios? ¿son suficientes?
- ¿Implementación correcta?
- ¿Recursos adecuados?

Esto puede derivar en el cambio de política, lo que se conoce como policy shift. Revisión del estado del
problema/política publica:

- Continuación de política existente

- Revisión política
- Terminación de la política
- Nueva política.

TIPOS DE EVALUACION

DE ACUERDO CON LA PROCEDENCIA DEL EVALUADOR/EVALUADORES

- Evaluación interna. La evaluación la hace el organismo que ejecuta la política pública. Por ejemplo, la
consejería de economía que tiene una serie de incentivos a las empresas y esa consejería tiene una sección
que realiza evaluaciones de su propia intervención

Ventajas: mayor conocimiento del programa y se puede profundizar más, los resultados de la evaluación son
más fácil de trasponer, es decir, si detectamos algún programa es más fácil que los mismos técnicos vayan
incorporando esas mejoras al programa.

5
Desventajas: la perdida de objetividad porque el equipo que ejecuta y que evalúa es el mismo, también se es
más imparcial, el tema económico también influye como la mayoría de las evaluaciones son finales puede ser
que se hayan gastado todo el dinero de la subvención y no se hayan guardado dinero para la evaluación. Puede
que los ejecutores no tengan los conocimientos necesarios para realizar la evaluación.

- Evaluación externa. Se recurre a un evaluador externo, puede ser una consultora o un autónomo que se
dedica a evaluar políticas públicas, peor nada tiene que ver con el órgano que ejecuta o implementa esa
política pública. El evaluador no tiene ningún contacto con quien ejecuta la política

Ventajas: mayor independencia del evaluador con respecto al proyecto, se presupone que es más objetivo y
más parcial, tiene mayor credibilidad.

Desventajas: como no esta dentro del proyecto, cualquier cambio o sugerencia es más difícil de introducir,
conoce en menor medida el proyecto interno. Reticencias por parte del personal que no colabora. El coste de
la evaluación externa es más elevado.

- Evaluación mixta. Tendríamos un equipo evaluador que se compone de personal interno o que ejecuta
esa política pública y externo, por lo que hay una mezcla de personal.

Tendríamos un equipo evaluador conformado por mínimo 2 personas, una interna que se encarga de
introducir las modificaciones y el externo que controla un poco lo que hace el evaluador interno y velaría por
la imparcialidad.

Criterios de elección.

- Momento de realización de la evaluación.

- Incidencia de los resultados de la evaluación.
- Garantías de objetividad requeridas. Si quieres que la evaluación sea objetiva lo mejor es que sea externo
porque sería imparcial y tendría los conocimientos técnicos necesarios.

Si queremos ir introduciendo mejoras constantes lo ideal sería que la evaluación fuese interna, si solo
queremos ver cómo han funcionado la política pública optaremos por una evaluación externa.

Si queremos ver cómo funciona algo en el mismo momento, evaluación interna, si quiero ver el proyecto
cuando ha terminado, optamos por evaluación externa.

La incidencia de los resultados: si quiero que los resultados sirvan para mejorar el programa en ese momento
lo normal es que se haga una evaluación interna porque habría mayor facilidad para la introducción de mejoras

DE ACUERDO CON SU TEMPORALIZAC IÓN.

En relación a la puesta en marcha del proyecto de evaluación. ¿cuándo vamos a evaluar?

- Ex ante. Se realiza con anterioridad a la ejecución del proyecto. Las motivaciones serian analizar o ver las
necesidades que motivan esa política pública y las necesidades del proyecto.
- Intermedia. Se realiza a la mitad de la ejecución del proyecto. Veríamos si se están consiguiendo los
objetivos perseguidos de esa política.
- Ex post. Ha finalizado el proyecto y realizo una evaluación final

6
SEGÚN SU FINALIDAD EN RELACI ÓN CON LA TEMPORALIZACI ÓN:

- Inicial o diagnóstica: antes de iniciar el proyecto y del marco general donde se establecerá la acción,
viendo los medios, recursos, el estado de los beneficiarios al inicio de la intervención, también nos ayuda
a ver el grado de alcance de los objetivos propuestos.
- Continua, procesual, sucesiva o formativa: se establece desde un punto de vista diacrónico o dinámico,
para ver si se alcanzan los objetivos propuestos y el grado de progreso y efectividad del programa,
comunicando esos resultados e impactos para en la medida de lo posible establecer una mejor
planificación, detectando fallos o aciertos.
- Final o diferida: se realiza al final del programa para juzgar los resultados en función de los objetivos. Suele
ir de la final con la ex post.

FINALIDAD MOMENTO OBJETIVOS

Diagnostica Inicial o ex ante - Identificar las
características de los
participantes (intereses, necesidades, expectativas)
- Identificar las características del contexto (posibilidades,
limitaciones, necesidades…)
- Valorar la pertinencia, adecuación y viabilidad del proyecto.
Formativa Continua - Mejorar las posibilidades personales de los participantes
- Dar información sobre la evaluación y progreso
- Identificar los puntos críticos en el desarrollo del proyecto
- Optimizar el proyecto en su desarrollo
Sumativa Final o ex post - Valorar la consecución de los objetivos, así como los cambios
producidos, previstos o no
- Verificar la valía de un proyecto de cara a satisfacer las necesidades
previstas.

El concepto de sumativa seria hacer varias mediciones durante la vida del proyecto y sumarlas.

Según su finalidad (II)

TIPO DE TAMBIÉN MOMENTO DE SU FINALIDAD
EVALUACIÓN CONOCIDA COMO: APLICACIÓN
Diagnostico Inicial Antes de su Se utiliza para conocer las necesidades o
intervención social problemas de la ciudadanía
Diseño Predictiva o de Antes de la Nos permite conocer la adecuación del
pronostico intervención social programa de intervención social a las
necesidades de la población
Implementación Orientadora o Durante la Proporciona la información para saber
formativa intervención social cómo se está aplicando el programa
Resultados Sustantiva o de Final de la Permite saber qué efectos/consecuencias
control intervención social ha tenido la intervención social
(programa) sobre el contexto social
intervenido.

7
DE ACUERDO CON SU OBJETO

- Evaluación de contexto
- Evaluación del diseño del programa. Valorar el diseño y recursos del proyecto
- Evaluación de proceso o implementación. Como se está elaboración el proyecto
- Evaluación de productos. Valorar, interpretar y juzgar los logros de un proyecto
- Evaluación de resultados o de efectos inmediatos. Ver el impacto de los cambios planificados y los
cambios imprevistos
- Evaluación de impactos. Efectos producidos en ese espacio social
- Evaluación de costes

Tener claro que: Si es inicial es de diagnóstico, puede haber una predictiva o de pronóstico para ver las
posibilidades, si es formativa se hace una evaluación continua o la sumativa o de control que es de carácter
finalista.

NIVEL DE ASISTENCIA

Esto tiene que ver con lo que queramos con la política.

- Pro-activa. Que intenta producir mejoras o cambios en la política pública. Si la evaluación es sumativa, de
diagnóstico.
- Re-activa. Si queremos medir resultados y de contabilizar iremos a esta opción. Normalmente se suelen
usar para justificar la asignación presupuestaria.

DE ACUERDO CON EL MODELO

- Método cuantitativo: Hay una gran población. Se suele acudir a encuestas, a sondeos… Es útil para
estudiar los impactos sobre el colectivo beneficiario.
- Método cualitativo: El tamaño de la muestra es menor, no interesa la comparación o explicación del
colectivo concreto, sino que interesa más el por qué no interesa saber si se están de acuerdo o a favor,
sino saber que hay detrás de la reticencia hacia esa política. Se le critica que el tamaño es menor, pero los
datos son más profundos.
- Enfoque pluralista/mixto: Esto se hace mediante la triangulación, supone una evaluación más compleja
en la que se combinan ambas metodologías

DE ACUERDO CON LA METODOLOGÍA

- Constructivista o libre de objetivos. Esto es lo que se conoce como goal free, no hay objetivos prefijados
ni cuantificables, hay una inexistencia de ellos porque se parte de la lógica de que los objetivos pueden
evolucionar y el contexto puede cambiar.
- Evaluación formativa. El objetivo sería generar conocimiento para ayudar a la toma de decisiones.
- Evaluación participativa. Los agentes implicados en la política cobran protagonismo. Se utilizan y entran
en participación los diferentes grupos de interés. Esta lógica implica fomentar y facilitar la democracia, la
cooperación o el consenso y conferir una mayor legitimidad.

8
- Evaluación integral y holística. Los procesos no se diseñan y ejecutan de forma aislada, no se considera la
evaluación como una evaluación final sino que abarca todos los elementos importantes, suelen combinar
metodología cualitativa y cuantitativa, analizando todo el proyecto en sí.

EN FUNCIÓN DEL DISEÑO TENEMOS:

- Evaluación por un diseño preordenado, es un diseño detallado de todos los elementos que conforman el
proceso de la política pública. Viene diseño a priori y no me salgo de ese diseño. Suelen responder a
evaluaciones de carácter sumativo o finalista donde quiero ver los impactos o resultados
- Evaluación por un diseño respondiente, tenemos una evaluación más de carácter participativo porque
busca una mayor participación y valoración de los implicados. Se considera respondiente porque no están
predeterminados, sino que el diseño se va haciendo según la marcha, teniendo en cuenta a los implicados.
Utiliza una metodología más cualitativa e interpretativa y se van ordenando conforme transcurre el
proceso de evaluación.
- Selectivos (no experimentales), Cuasiexperimentales, Experimental
- Comparativo, tenemos un elemento de comparación que puede ser por ejemplo un grupo de control
experimental o un grupo creado sobre la marcha. La información se compara con otros grupos que no son
sometidos a ese control.
- No comparativo, no hay grupo de control porque no es practico o es imposible su realización.

INSTRUMENTOS DE MEDICIÓN

Técnicas.

1. Observación no participante. Cualitativo.

2. Observación participante: cualitativo.
3. Visitas de seguimiento a las unidades que implementan la política pública: cualitativa.
4. Entrevistas en profundidad: cualitativa.
5. Cuestionarios, encuestas o sondeos: cuantitativa.
6. Test: cuantitativo/cualitativo.
7. Escalas: cuantitativa.
8. Revisión documental: cualitativa.
9. Grupos de presión/focus group: cualitativa.

Método de investigación:

- Estudios de casos: cuantitativas/cualitativas.

LIMITACIONES INSTRUMENTALES.

- En relación a las técnicas de explotación de la propia información. Viene asociado a la propia metodología
de extracción de los datos. La limitación proviene de cómo obtener esa información, en ciertas políticas
como inmigración o temas de violencia de género no se saben los datos reales de los colectivos que es
muy difícil determinar la población general real, otra limitación o problema es por ejemplo si es a los
inmigrantes, el que no hablen español. Otro ejemplo: economía sumergida.

9
- Dificultad de aislar los efectos. Lo que se suele hacer es emplear un grupo de control; la experimentación
se basa en grupos experimentales y grupos de control, la población X y la población Y son muestras de
población que son similares entre ellos. Sobre la población X hago el experimento y sobre la Y no hago
nada. El experimento sería la política pública y en la otra no hago nada. Esto nos permite ver las
diferencias, si entre ambos grupos no hay diferencias significa que la política pública no ha tenido éxito, y
si hay diferencias si ha tenido éxito. La complejidad de los grupos de control está en encontrar poblaciones
similares con las mismas características que el grupo experimental, especialmente en escenarios reales;
requiere un gran aporte metodológico para aislar los efectos correctamente.

- Dimensión temporal. Los proyectos tienen una vigencia, se realiza una política pública y los impactos
pueden ser a largo o corto plazo, a lo mejor en una política de formación para el empleo deberá de
observarse en el largo plazo, no nada más haberlo acabado. Los proyectos tienen una vigencia. Ej., curso
de formación para la obtención de empleo, una vez acaba el curso se realiza la evaluación: el impacto de
la formación funciona a largo plazo (tiempo transcurrido entre el fin de la formación y la consecución de
un puesto de trabajo relacionado con dicha formación).

- Escasa cultura evaluativa organizacional que encontramos en Europa para realizar evaluaciones.

10
 TEMA 2: DEFINICIÓN Y CONCEPTO DE EVALUACIÓN.
DEFINICIONES DE EVALUACIÓN

Evaluar se define como comparar en un instante determinado lo que se ha alcanzado mediante una acción
con lo que se debería de haber alcanzado de acuerdo con una programación previa.

Esto lleva implícito tres componentes, en primer lugar, la existencia de una situación previa, definida
mediante un proceso definido como programación o formulación de la política pública. En segundo lugar, la
existencia de una situación real en un momento determinado que se ha configurado por medio de una serie
de acciones que se han ejecutado.

En tercer lugar, esto conlleva un proceso de comparación entre ambas situaciones, la previa y la real, la que
se establece en la programación y la producida tras las actuaciones ejecutadas. La comparación será una
comparación entre lo comparado y realizado mediante una metodología, revelando la efectividad de las
acciones emprendidas por una autoridad o por esa política pública.

La RAE establece que evaluar es señalar el valor de una cosa, esto significa que para señalar el valor de algo
necesitamos medir y solo es posible medir cuando se tienen puntos de referencia, por tanto, estos puntos son
necesarios para comparar una cantidad con su respectiva unidad.

La OMS también establece una definición de evaluación. Establece que es un medio sistemático de aprender
empíricamente y de utilizar las lecciones aprendidas para: el cambio y mejora de las actividades de un
programa y para el fomento de la planificación y la toma de decisión más racional.

SUBACTIVIDADES DE LA EVALUACIÓN

Las características de la evaluación o subactividades, podemos hablar como sí hay 4 componentes sustantivos
y con un singularidad propia en este ámbito:

⎯ Especificación. Es distinto por el tema de los criterios, ya que en análisis de políticas públicas uno se dedica
a describir una situación, partiendo de unos criterios a la hora de establecer un juicio de valor, siendo a
partir de la motivación donde establecemos unos criterios que determinan la forma de medir. Se habla de
criterios como eficiencia, eficacia, idoneidad… son criterios sustantivos de la evaluación de pol publi que
no aparecen en otro tipo.
⎯ Medición. Se establece una medición sobre los criterios a través de una serie de técnicas, en otras
investigaciones la medición se realiza pero no se precisan puntos de control, aquí si es necesario puntos
de referencia para medir. En la medición se busca medir cuanto hemos conseguido de esos objetivos, no
es una investigación de corte descriptivo, sino que busca comparar.
⎯ Análisis. Esto se refiere a los métodos.
⎯ Recomendación. Esto se refiere a las formas a través de las cuales se establecen mejoras de las políticas
públicas, para ver si nos quedamos con la política, la suprimimos, establecemos modificaciones...

11
OBJETIVOS DE LA EVALUACIÓN

1. Medir el grado de: medir el grado de eficacia (cumplir con el objetivo que se desea), eficiencia (conseguir
el objetivo con el menor coste posible), efectividad (capacidad que tienen las actividades para alcanzar
los objetivos y las metas) e idoneidad (que sería la capacidad del proyecto para resolver el problema que
lo creó).
2. Mejorar la toma de decisiones. Aquí se busca mejorar las prácticas, añadir técnicas, modificar estrategias,
continuar o no con el proyecto, establecer proyectos semejantes en realidades similares.

CRITERIOS CLAVE

1. Estructurar el problema. El problema tiene que estar bien definido

2. En que grado y como se ha resuelto ese problema. Estamos hablando de que es importante estructurar
el problema en esas fases previas a la acción y en segundo lugar, con los indicadores vemos en que grado
y como se ha resuelto el problema, el qué viene en las escalas.

Criterios aplicables

- Si es eficaz, es decir, ver si se han conseguir los objetivos

- Si es eficiente, es decir, cuanto esfuerzo se requiere para llegar al resultado
- Si es adecuado, es decir, en qué proporción se ha resuelto el problema
- Si es equitativo, es decir, si se han distribuido los costes y beneficios
- Si es responsable, es decir, si satisface necesidades, preferencias y valores
- Si es apropiado, es decir, si los resultados deseados son actualmente valiosos.

12
 TEMA 3: TIPOS DE EVALUACIÓN
CRITERIOS

Lo que hemos visto hasta ahora son los tipos de evaluación.

1. Según el momento (función) de la evaluación.

a. Formativa. Va retroalimentado al programa. Ayuda a la mejora de la política pública. No es muy

empleada a no ser que tenga un período de implementación muy larga.
b. Sumativa o final. Una vez finalizado la política pública se realiza la evaluación. El feedback es menor
sobre la política pública que se está evaluando porque la actuación ya ha finalizado. Es la que más se
emplea.

2. Según la procedencia de los evaluadores.

a. Interna. Es realizada por el propio órgano o personal que lleva a cabo la política pública, es una especie
de autoevaluación.
b. Externa.
c. Mixta.

3. Según la naturaleza de lo evaluado. Esta es la que más nos interesa, y la que vamos a trabajar en este
tema.

a. Evaluación de necesidades.

Corresponde al proceso de diagnósticos, es esa situación problema que nace de ese diagnóstico. Seria ver o
indagar en ese diagnóstico que se hace de esa situación particular para satisfacer unas necesidades. De la idea
de la que se parte es ver cómo están configuradas las necesidades sobre las que se parte para poder formular
un programa de acuerdo a una acción y sobre el cual suele existir escasa o nula información.

b. Evaluación del diseño.

Se ha diseñado una política pública, se aplicaría después de la fase de formulación del proyecto y sirve para
determinar el grado de idoneidad y factibilidad (capacidad de la política pública para ser ejecutada en el
tiempo y con los recursos disponibles) de las acciones que se han propuesto para resolver el problema.

c. Evaluación de la implementación o del desempeño.

Este tipo de evaluación es el más frecuente. Seria ver como se ha comportado es proyecto para compararlo
con las previsiones que se habían realizado.

d. Evaluación del impacto

Sería una evaluación más final ya que normalmente se centra en los efectos que ha tenido ese proyecto sobre
la población beneficiaria del mismo. Los efectos normalmente vendrían o estarían establecidos en los
objetivos que tiene esa política púbica.

13
EVALUACIÓN DE NECESIDADES

Esto viene de lo que se conoce como los modelos de discrepancia. El tema de la necesidad, hay autores,
especialmente Kauffman en 1972 y Scriver alrededor del 76 que nos hablan de necesidades. Kaufman
establece la necesidad en lo que él denomina una discrepancia, y Scriver, la necesidad como déficit. Los
modelos de discrepancia que vienen a decir es que las necesidades serían la distancia o discrepancia entre los
resultados reales o los esperados y requeridos.

Esto les lleva a plantear 4 tipos de déficit, de discrepancias o de necesidades, es decir, encontramos que entre
lo que se espera o lo que hay encontraríamos un déficit de objetivos. Encontraríamos un déficit de objetivos
cuando hay una diferencia entre el ideal y el actual, es decir, la discrepancia viene de esa comparación.
Diferencia de expectativas diferencia entre lo que se espera y la situación actual.

Normativo cuando esa ley o normativa expresa una solución a unas necesidades. Déficit de carácter básico
que viene determinar por ese estándar básico que se espera que se cubra y la situación actual.

La organización de este tipo de acciones:

Normalmente estas discrepancias generan o dan pie a una serie de necesidades, las cuales son ubicadas por
los autores generando 4 tipos de necesidades. Necesidades: el autor Bradshaw diferencia las necesidades que
tienen los diferentes usuarios.

- Normativas. Situaciones que se aporten de la norma y son consideradas en estado de necesidad: pueden
ser primarias y básicas. Constituyen un vacío entre un nivel deseado y un nivel que realmente existe.
Podemos encontrar necesidades primarias y básicas.
- Sentidas. Hacen referencia a percepciones subjetivas, experiencias y presunciones. Son percibidas por los
seres humanos pero estas necesidades son sentidas lo que significa que estas necesidades son tienen
porqué verbalizarse, sienten que hay una necesidad, pero no la expresan.
- Expresadas: son necesidades expresadas o demandadas y se le demandan al programa o la entidad que
pueda dar solución a esa situación. Se manifiestan por la solicitud de cualquier servicio o ayuda que cubra
esas necesidades.
- Relativas: también se llaman comparadas y responden a una comparación. Aquí es cuando los miembros
o personas que son los que tienen las características de beneficiarios de un pero no son los beneficiarios
y a través de una comparación establecen que ellos también necesitan esa necesidad.

14
La fase de definición tendríamos que definir claramente el programa y los componentes. La fase de
instalación donde el programa se implanta o no y la fase de proceso es ver si los objetivos se están cumpliendo
o no. Y al de producto, si los objetivos se logran en términos de resultados. La quinta seria ese análisis de
costes que sería una etapa adicional, el autor dice que se enfocaría en los costos del programa y los beneficios
adquiridos.

Fases:

1. Inventario de recursos
2. Identificación de necesidades: características, volumen, localización, tendencia
3. Identificación de afectados
4. Estudio del entorno de los servicios
5. Análisis de los factores de riesgo
6. Evaluaciones de estudios anteriores
7. Aportaciones de posibles soluciones.

No es solo suficiente detectar las necesidades, sino que deben ser evaluadas para tomar decisiones sobre
cuales van a ser prioritarias y cuales no. La evaluación de necesidad se encuentra en el tema del análisis del
contexto previo a esta intervención. Y nos ayuda a tomar decisiones respecto a esa determinación entre el
estado actual y el deseado para que nos de pie a esa discrepancia. También nos ayuda a establecer metas y
objetivos, priorizar los objetivos en función del contexto en el que se encuentre, proporcionar las claves sobre
las decisiones, medios y recursos…

Por lo tanto, esta evaluación debe considerar las necesidades individuales de esos destinatarios. La idea aquí
seria que esta evaluación de necesidades es un requisito para la planificación de un programa, aunque no
constituye una evaluación de programa en sí, sino que es una fase previa.

EVALUACIÓN DE DIAGNÓSTICO

Esa necesidad se constituye como un problema que entra en la agenda y se le pretende dar una solución. Hay
que ver si el problema está bien definido y está claro y hay que ser crítico para determinar el desarrollo y la
selección de instrumentos y procedimientos para hacer ese diagnóstico.

Vemos si el problema se define correctamente a partir de esas necesidades previas y luego ver que técnicas y
procedimientos se han usado para evaluar ese problema.

EVALUACIÓN DE DISEÑO

La evaluación versa sobre el programa en sí, vamos a ver el tema de pertinencia o coherencia. Normalmente
la evaluación del diseño del proyecto debe de realizarse en conexión con las necesidades que se dieron en la
evaluación previa. Por lo que hay que tener en cuenta si los objetivos se adecuan a esas necesidades en
términos de factibilidad, pertinencia y coherencia interna.

Los aspectos relevantes tendríamos que analizar los métodos potencialmente aplicables, como se ha realizado
la asignación de recursos, buscar los obstáculos o barreras en ese marco contextual si hay errores teóricos,

15
ayudar a esos técnicos de llevar de a cabo esa práctica o programa que podrían fracasar por una escasez de
recursos.

También conlleva que si el programa no esta bien diseñado no se puede evaluar. Nos centramos en si los
objetivos son pertinentes, medios, actividades…

Una vez que acoto ese diseño o que determino la finalidad de la evaluación se pasa a una recogida de
información. Y sobre todo es importante ver n esa evaluación de diseño quien lo realiza. Para la evaluación de
diseño se suele pedir que sean evaluadores externos porque los internos no van a ser capaces de determinar
si los recursos son suficientes o los objetivos están bien diseñados.

- Evaluación de la factibilidad. Que esas acciones den pie o puedan resolver ese problema. Mirara que las
acciones sean coherentes o den pie a resolver el programa o actuación
- Evaluación de la pertenencia. Que los objetivos propuestos vayan en sintonía con el problema
- Evaluación de la coherencia interna. Que esas acciones respondan a esos objetivos

EVALUACIÓN DE LA IMPLEMENTACIÓN O DEL DESEMPEÑO.

Podemos encontrar varios tipos de análisis:

1. Análisis de servicios concretos

2. Análisis de cobertura
3. Análisis de proceso

Este tipo de evaluación tiene un carácter formativo, trata de analizar si esos elementos que se van a poner en
marcha se están desarrollando como se habían previsto para con la información que proporcionen vamos a
mejorarlo o no. Esto permite dar respuesta a las dificultades, obstáculos, imprevistos o las demandas que se
van produciendo mientras transcurre esa evaluación.

Los autores normalmente establecen que encontraríamos tres fases principales que habría que resolver en
esta evaluación. Una primera que es la descripción de lo que es esencial para ese programa según lo
establecido por la literatura o información previa de esa política pública. Una segunda, una recogida de
información sobe aspectos claves, como se aplica o funciona. Tercera, ver como ese plano teórico, compararlo
con el funcionamiento en la práctica.

Esto nos permite identificar los puntos débiles, podemos reajustar el programa a partir de esas discrepancias
nuevas detectadas, se pueden mejorara las posibilidades de las actuaciones de los actores del programa, se
puede aumentar la información para la toma de decisiones posteriores sobre qué hacer con esa política
pública.

CONCEPTO DE RESULTADO E IMPACTO

Resultado: mide los efectos del programa sobre la población beneficiaria del mismo. Estamos hablando como
de efectos que tiene sobre la población la política pública.

Impacto: mide los efectos sobre la comunidad en su conjunto. Entonces son efectos peros obre el conjunto
de la comunidad.

16
EVALUACIÓN DEL IMPACTO O RESULTADOS

Aquí queremos ver si ese proyecto tiene el efecto o el impacto que se buscaba. Por lo que necesito recurrir a
diseños metodológicos de corte experimental para poder determinar cuál es el elemento que provoca esa
causa.

Lo que quiere ver es:

1. Consecución de los objetivos en cantidad, calidad y tiempo. Esos objetivos que estaban planificados
determino cuantos se han conseguido.
2. Análisis de resultados no esperados, positivos o negativos. Son como externalidades, habría que
buscar e identificarlos.
3. Opinión y satisfacción de los usuarios del programa

OTROS TIPOS DE EVALUACIÓN:

- Evaluación operacional: hace referencia a la gestión de recursos y actividades en un contexto organizativo

concreto
- Evaluación de la estructura: cantidad, calidad y adquisición de recursos humanos, materiales y
financieros.

17
 TEMA 4: ¿QUÉ SE EVALUA EN UN PROGRAMA O
POLÍTICA PÚBLICA?
CRITERIOS DE EVALUACIÓN

- Deben estar claramente definidos

- Determinan y guían el estudio, orientando la recopilación y análisis de la información, es decir, de las
variables que se van a valorar y de los criterios de valor.
- Establecer los criterios de evaluación sirve para clarificar y reforzar los objetivos y para repasar o explicitar
la “teoría de programas”, en otras palabras, las premisas, principios y mecanismos subyacentes al
programa.
- El análisis de algunas experiencias de evaluación nos hace concluir que, en general, pensar sobre qué se
quiere evaluar (criterios de evaluación) es un paso clave que muchas veces se suele obviar o se suele dar
por hecho en muchas ocasiones el QUÉ evaluar (criterios de evaluación) se define a través del CÓMO
evaluarlo (metodología y técnicas utilizadas), dando prioridad a esto último.

La evaluación conlleva considerar sistemáticamente aquellos factores que determinan una política pública,
estos factores se presentan como criterios o principios de la evaluación.

Existen diferentes modelos de evaluación y se pueden establecer diferentes planteamientos para la selección
de aquellos criterios.

Podemos diferenciar tres tipos de criterios según (1) están relacionados con la redacción de objetivos, (2) el
grado de logro o (3) el uso de los medios para alcanzar los objetivos.

Los criterios sirven para emitir los juicios de valor que deben dar respuesta a las preguntas de evaluación que
el equipo evaluador prevé contestar en relación a los objetivos planteados.

La categorización de los análisis permite medir el valor de una intervención. Los criterios de evaluación sirven
como referencia para crear a estructura de las cuestiones a las que la evaluación va a dar respuesta.

RELEVANCIA

El análisis de relevancia se corresponde con la evaluación de la calidad y veracidad del diagnóstico. Ello permite
identificar el alcance del problema y la metodología utilizada en el planteamiento de la política pública o
programa.

Para evaluar el diagnóstico utilizado en la formulación de una política pública es necesario analizar cómo se
definieron y priorizaron los problemas sociales, sin dejar de tener en cuenta cómo influenció en esta definición
el entorno

La evaluación del contexto conlleva analizar las condiciones externas del programa o política (elementos
económicos, políticos, legales…) que hayan afectado directa o indirectamente a la formulación de la política.

18
Preguntas clave:

- ¿en qué medida las intervenciones realizadas están alineadas con las necesidades y prioridades del
territorio?
- ¿las acciones emprendidas otorgan prioridad según la importancia de las necesidades detectadas?
- ¿el objetivo de mejora de la política pública era pertinente en el contexto dónde se aplicó?

Dificultades metodológicas: la no disposición de datos estadísticos oficiales. La falta de información de cómo

se detectaron o priorizaron las necesidades planteadas.

Dimensión de la política publica a la que hace referencia: diseño de la política publica

Métodos y herramientas propuestos: árboles o diagramas de flujos.

PERTINENCIA

Este análisis consiste en el estudio de la calidad en la formulación de los objetivos del programa. Deberá
analizarse, para ello, si los objetivos se han definido reflejando concisamente los propósitos de la política
pública y si su consecución es medible.

En este sentido, es importante examinar si los objetivos se han redactado de una forma clara y concisa, y que
se especifica el producto que se pretende obtener.

Debe considerarse que la consecución de objetivos responde a una planificación temporal preestablecida y
por tanto deberá valorarse las adaptaciones que se hayan podido producir.

Preguntas clave:

- ¿Qué persiguen los objetivos del programa o política?

- ¿Se identifica claramente el resultado que pretende alcanzar cada objetivo de la política?
- ¿Se ha tenido en cuenta cuando se van a cumplir los objetivos?

Dificultades metodológicas: falta de consenso sobre las necesidades y prioridades establecidas, o una
valoración incorrecta de éstas. Falta de concreción de la política publica

Dimensión de la política publica a la que hace referencia: diseño de la política publica

Métodos y herramientas: análisis de calidad del diagnóstico (DAFO)

COHERENCIA INTERNA.

Este tipo de análisis es de uso frecuente en las políticas de evaluación de la Unión Europea, se trata del análisis
de la jerarquía de objetivos, es decir, se establecen con unas prioridades y hay que establecer cuales son
primarios y secundarios.

La jerarquía de objetivos forma parte de la creación de la estrategia de intervención y se realiza en función de

las necesidades detectadas.

19
El análisis de coherencia analiza la lógica de la programación, ahondado en si existe una priorización coherente
de los objetivos y su relación con las actividades, y la consecución de resultados.

Preguntas clave:

- ¿Se puede decir que las actividades y los resultados permiten alcanzar los objetivos de manera lógica?
- ¿Existen contradicciones entre los diferentes niveles de objetivos?
- ¿Existen duplicidades entre las actividades programadas en relación a la consecución de los objetivos de
la política pública?

Dificultades metodológicas: falta de concreción de los objetivos o de las actividades planteadas en la política
publica

Dimensión de la política pública a la que hace referencia: diseño de la política publica

Métodos y herramientas: árbol de objetivos, matriz de valoración de las relaciones entre necesidades
planteadas y objetivos.

COHERENCIA EXTERNA

Este análisis permite valorar el grado de correspondencia que existe entre un programa y otras intervenciones
que se estén ejecutando en un mismo espacio temporal y físico-territorial.

Este tipo de análisis requiere estudiar los objetivos y la intervención de forma comparada con todos los
programas que convergen en un territorio

Se trata de contrastar el grado de complementariedad y las posibles sinergias existentes entre la política
objetivo de la evaluación y otros programas.

Preguntas clave:

- ¿Se puede decir que no existe superposición entre la política y otras intervenciones aplicadas en el mismo
territorio?
- ¿Los objetivos planteados en la política coinciden con los expresados en otras intervenciones del
territorio?

Dificultades metodológicas: imprecisión en la definición de las necesidades detectadas o en el

establecimiento de objetivos, de la política objeto de evaluación o de las políticas que pueden presentar algún
grado de complementariedad.

Dimensión de la política pública a la que hace referencia: diseño de la política publica

Métodos y herramientas: comparación entre arboles de problemas y objetivos de los distintos planes que
presenten complementariedad. Matriz de valoración de la compatibilidad de la intervención con otras
estrategias y programas.

20
EFICACIA

Determinar el grado en que una operación alcanza o se espera que alcance sus objetivos, en un periodo
determinado y con independencia de los costes que su ejecución implique (bajo una múltiple perspectiva de
realización financiera, física, resultados e impactos).

El análisis de eficacia parte de la premisa que el objetivo del programa ha sido definido de manera inequívoca
y con carácter operacional.

Sin embargo, debe atenderse que en muchas ocasiones los objetivos pueden haber estado formulados de
forma confusa y muy general. En estos casos debe ponerse de manifiesto esta debilidad y el equipo de
evaluación deberá hacer operativos los objetivos sobre la información existente.

Preguntas clave:

- ¿En qué medida se han cumplido los objetivos?

- ¿Qué acciones concretas de la política han favorecido el cumplimiento de los objetivos esperados?
- ¿Han existido factores externos a la evaluación que hayan influido en la resolución de los problemas
detectados?

Dificultades metodológicas:

- Resultados planificados poco claros, múltiples o confusos, o que son objeto de cambio
- Mala definición de los indicadores de los resultados planificados
- Falta de información de referencia sobre las instituciones, personas o infraestructura afectadas
- Escaso conocimiento de los vínculos entre causa y efecto
- Dificultad para atribuir los resultados al programa en particular.

Dimensión de la política pública a la que hace referencia: resultados de la política publica

Métodos y herramientas:

- Ex -ante: medición de los valores iniciales de las variables resultantes y otras variables importantes
- Ex -post: medición de los valores de las variables resultantes y otras variables importantes después de
haberse llevado a cabo la intervención.

EFICIENCIA

El análisis de eficiencia mide hasta qué punto los resultados obtenidos derivan de una utilización eficiente de
los recursos financieros, humanos y materiales utilizados.

La principal dificultad para medir la eficiencia de una política está en establecer un valor de referencia sobre
la asignación de recursos. Pocas veces el valor de referencia está establecido, por lo que el equipo evaluador
deberá establecer este valor sobre el que se realizan las mediciones.

Los exámenes previos en relación a la eficiencia se establecerán durante el proceso de planificación de una
política, cuando se decidan los presupuestos e insumos.

21
Preguntas clave:

- ¿Cuál ha sido el coste material de los objetivos perseguidos?

- ¿Se aplicaron procedimientos racionales de gestión financiera y de equipo?
- ¿Se han utilizado los recursos de la manera más económica posible?

Dificultades metodológicas: no disposición de los valores de referencia

Dimensión de la política pública a la que hace referencia: gestión de la política pública (proceso).

Métodos y herramientas: los métodos y herramientas que pueden ser utilizados para efectuar el análisis son:
Medición directa: registro de datos cuantificables por medio de instrumentos analíticos.

SOSTENIBILIDAD

El análisis de la sostenibilidad de un programa permite evaluar en qué medida los resultados del programa
han sido o tienen probabilidades de ser duraderos una vez finalizado el programa y una vez retirados los
recursos externos

Los factores que inciden en la sostenibilidad se examinan sobre la base de la prioridad asignada al programa,

En el análisis también se estudia la disponibilidad de los recursos administrativos, financieros y humanos que
harían falta para mantener los resultados del programa en el largo plazo.

Preguntas clave:

- ¿Es probable que los logros del programa se mantengan una vez finalizada la intervención?
- ¿Tienen las contrapartes la voluntad y la capacidad de continuar por su cuenta las actividades del
programa?

Dificultades metodológicas:

- La sostenibilidad es una situación hipotética y proyectada

- No es posible prever todos los factores intermedios que comprometen la sostenibilidad

Dimensión de la política publica a la que hace referencia: el impacto de la política publica

Métodos y herramientas: herramientas cualitativas y participativas: mesas redondas, talleres, foros de

discusión, etc.

EQUIDAD

Valorar la equidad en los resultados obtenidos o que se pretenden alcanzar a través de la política pública

La evaluación del criterio de equidad conlleva analizar hasta qué punto la distribución del coste o los beneficios
de los programas públicos entre la población se ha realizado con algún criterio estándar de distribución
equitativa.

22
Una política equitativa es aquella cuyos resultados o esfuerzos están distribuidos justamente. El criterio de
equidad está estrechamente relacionado con los conceptos de justicia o imparcialidad ya que en las políticas
de distribución de los recursos subyacen conflictos éticos.

Preguntas clave:

- ¿Se han utilizado criterios de equidad en la definición de los objetivos de la política pública?
- ¿La dedicación de esfuerzos ha seguido una lógica de reparto justo?

Dificultades metodológicas: obtención de respuestas suministradas donde subyacen distintas lógicas de

actuación.

Dimensión de la política pública a la que hace referencia: diseño, proceso, resultados e impacto

Métodos y herramientas: análisis de inputs asignados a la política a través de metodología cualitativas:

enfoque pluralista, que enfatiza la participación de los actores y destinatarios de las políticas públicas.

PREGUNTAS

Los diferentes criterios se mueven y dan lugar a las preguntas. Los elementos a evaluar están condicionados
por la fase en la que se encuentre:

1. EN LA FASE DE DIAGNÓSTICO (NECESIDADES)

El diagnóstico se centra en:

A. El problema

- ¿Fue expuesto el problema con claridad, teórica y operacionalmente? (cuantificando el problema).

- ¿Fueron definidas con claridad las variables que debían medirse?
- ¿Era adecuada la base para la selección de variables?
- ¿La hipótesis formulada fue deducida de alguna teoría o de algún estudio anterior?
- ¿Fueron especificadas las hipótesis alternativas?

B. Desarrollo y selección de instrumentos y procedimientos:

• ¿Eran medibles las variables observadas?

• ¿Los criterios por los que se eligieron las variables estaban basadas en una teoría o una evidencia
empírica?
• ¿Se estableció la validez de los instrumentos?
• ¿Era adecuada la base para la selección de escalas?
• ¿Fue especificada con claridad la población que se estudió?
• ¿Se especificaron los procedimientos de muestreo?
• ¿Era la muestra representativa?
• ¿El margen de confianza y el índice de error eran aceptables?
• ¿Se describieron los métodos de recogida de datos? (En una entrevista en profundidad, por
ejemplo).

23
C. La interpretación

- ¿Las conclusiones del estudio eran coherentes con los resultados?

- ¿Se podían los datos generalizar a toda la población?
- ¿Las conclusiones eran coherentes con el esquema teórico previo?
- ¿Se indicaron las consecuencias de las conclusiones?
- ¿Se incluyeron elementos de pronosticación?
- ¿Se hicieron sugerencias para mejorar las condiciones que crearon el problema?
- ¿Se tuvieron en cuenta las preferencias, valores u opiniones de la población afectada?

2. EN LA FASE DE FORMULACIÓN (FASE DE DISEÑO).

- ¿Qué relación tiene el proyecto con las necesidades reales detectadas?

- ¿Relación del proyecto con la política o planes de la institución responsable?
- Ventajas específicas del proyecto para resolver el problema y alcanzar los objetivos.
- ¿Cómo ayudarán los objetivos y metas a resolver el problema?
- Posibilidades reales del proyecto de alcanzar las metas.
- ¿Por qué realizar esas técnicas y metodologías y no otras diferentes?
- ¿Por qué realizar el proyecto en esas fechas y no en otras?
- ¿Serán suficientes los recursos disponibles para alcanzar los propósitos?
- ¿Existe respaldo real del proyecto por parte de la institución, los colaboradores y la comunidad de
beneficiarios?

Adecuación técnica y económica y relación con las necesidades detectadas. Todas las preguntas tienen que
ver con la factibilidad.

3. EN LA FASE DE IMPLEMENTACIÓN.

Hay que evaluar:

- Tareas de motivación de los actores (de los ejecutores).

- Realización de actividades (plazos, cantidad y calidad). Esto se mide mediante un registro de
perspectiva (cronograma).
- Recursos humanos (cantidad y calidad, es decir número de personas y los conocimientos que
tienen que tener estos ejecutores). Disponibilidad de estos, son los que ejecutan el proyecto.
- Recursos materiales y técnicos.
- Financiación del programa.
- Establecimiento del proyecto (infraestructura, organización previa de los beneficiarios e
información y publicidad).
- Dinámica interna de organización (como funciona la organización a nivel interno a la hora de
organizarse y empeñar tareas).
- Cobertura del programa (los beneficiarios o población).

24
4. EN LA FASE FINAL O DE RESULTADOS.

Hay que evaluar:

- Metas y objetivos (cantidad %, calidad, tiempo).

- Problema (idoneidad).
- Efectividad (diseños evaluativos) de las actuaciones del proyecto. Ver el grado de consecución de los
objetivos y metas.
- Usuario-beneficiario (satisfacción y opinión general).
- Efectos no programados. Externalidades que ocurren por ese proyecto pero que no se esperaban.
- Eficiencia. (Mirar el criterio).
- Impactos.

25
TEMA 6: EL PROCESO EVALUATIVO DE UN PROYECTO
INTRODUCCIÓN

- Evaluación de un proyecto como un proceso

- Método para desarrollar un proceso evaluativo:
1. Definición del marco de referencia. Conlleva dos características: el diagnóstico del proyecto y
formulación del proyecto
2. Definición del tipo de evaluación. Conlleva los objetivos y elección del modelo, determinación de las
variables a medir, definición de las unidades de medida, de la periodicidad, de los instrumentos y de
los recursos.
3. Implementación de la evaluación. Conlleva la creación de instrumentos, la consecución de recursos y
la preparación del equipo evaluador.
4. Aplicación de las mediciones
5. Análisis de los resultados
6. Formulación de las conclusiones
7. Adopción de las medidas de retroalimentación
8. Introducción de las medidas del proceso

1. DEFINICIÓN DEL MARCO DE REFERENCIA

- Requisito fundamental de un proceso de evaluación. Es como el centro que va a guiar ese proyecto o
proceso.
- Su importancia radica en la cuestión de que es la fuente básica de información para poder comparar entre
lo previsto y lo alcanzado.

Sus componentes son el diagnóstico del proyecto (situación de partida) y formulación del proyecto (logro
deseado del proyecto).

Productos del diagnóstico

1. Establecimiento de un cuadro de necesidades. El objetivo es obtener el conocimiento necesario sobre los

elementos fundamentales que configuran la situación del problema al que se va a enfrentar el proyecto.
2. Elaboración de un inventario de recursos para enfrentarse a la situación problemática detectada. Para
determinar la calidad y la cantidad de los recursos humanos, materiales, técnicos y financieros de las
entidades ejecutoras del proyecto.
3. Definición de alternativas posibles de acción. Elaborar algunas hipótesis que estén basadas en forma de
una combinación de las diferentes necesidades y los recursos disponibles.

Formulación del programa

Consiste en una identificación precisa o real del mismo especificando objetivos, metas, calendario de
ejecución… De esta forma los criterios se definen por anticipados. Es decir, describimos de una forma clara,
precisa y ordenada la alternativa que se escogió en la fase de diagnóstico.

26
- Naturaleza → hace referencia al ¿qué? Lo primero que encontramos es el título, la idea central y la
necesidad previa que da origen al proyecto.
- Fundamentación → responde al ¿por qué? Encontramos un esquema teórico (criterios), previsiones del
comportamiento futuro.
- Metas → responden al ¿para qué? Encontramos los logros, que tienen que ser claros, realistas y
pertinentes.
- Objetivos → responden al ¿cuánto? Los objetivos tienen que ser cuantificables y calificables. Tienen que
ser precisos, medibles, coherentes, duración.
- Localización → responde al ¿dónde? Puede ser a nivel macro, con una visión general y amplia, o a nivel
micro, que sería donde se va a ubicar específicamente los usuarios en un contexto más local.
- Metodología→ responde al ¿cómo? Son normas, tareas, procedimientos, instrumentos que nos permiten
realizar el proyecto.
- Calendarización → responde al ¿cuándo? Es un cronograma que se podría emplear los GANTT o PERT.
- Recursos humanos → responde al ¿quién? Es importante tanto la cantidad y la calidad, son las personas
necesarias para la implementación y evaluación.
- Recursos materiales y financieros → responde al ¿con qué? Hablamos del presupuesto y la financiación,
materiales como instalaciones, equipos…

2. DEFINCIÓN DEL TIPO DE EVALUACIÓN

Supone elegir un modelo evaluativo, elegir que variables son las que se van a medir, especificar las unidades
de medida, precisar los cortes evaluativos o mediciones, elegir los instrumentos para recoger información,
identificar los recursos necesarios para realizar la evaluación y definir otros aspectos necesarios para el buen
éxito del proceso. La definición del modelo de evaluación viene condicionada en muchas ocasiones por el
momento en el que entra el equipo evaluador.

Determinación de los objetivos y elección de un modelo evaluativo.

¿Para qué se va a evaluar el proyecto? Los objetivos van a determinar sus características y de acuerdo con
ellos se debe de elegir un modelo entre 3 posibilidades:

a) Elegir un diseño experimental. Tenemos un grupo de control y un grupo experimental que es el que
recibe la política pública. Por lo que el grupo experimental son los beneficiarios de esa política pública.
Una de las particularidades es que el grupo de control debe de tener las mismas características que el
grupo experimental, es decir, deben ser el mismo grupo de población. Se realizan mediciones en
ambos grupos. Esas mediciones se realizan antes y después de aplicar la política pública a ambos
grupos.
b) Elegir un diseño cuasi-experimental. Solamente hay un grupo, son las mismas particularidades el
diseño anterior pero no todas porque no es viable. Dependiendo del modelo, en algunos no hay grupo
de control o no hay algunas de las mediciones.
c) Elegir un diseño no experimental (menos confiables pero adecuados cuando los recursos
institucionales son escasos). No hay grupo de control, solo tenemos el grupo experimental que son los
beneficiarios de la política. Podríamos hacer una medición antes y después de la política. A veces no
es necesario hacer una medición antes porque ya hay bastante información sobre la política.

27
La elección depende de los objetivos asignados a la evaluación y de la capacidad técnico-financiera.

a. Modelos experimentales y cuasi-experimentales, aconsejables para tomar decisiones sobre

continuar un programa, establecer programas o proyectos semejantes y dar mayor cobertura a un
proyecto
b. No experimentales, aconsejables para mejorar prácticas o procedimientos por retroalimentación
periódica, añadir o desechar estrategias y técnicas y si se necesita información rápida.

Determinación de variables a medir

Identificar los aspectos que serán sometidos a medición que van a variar en función de la dase en la que se
encuentre el proyecto:

- Fase de investigación: adecuada identificación del problema, calidad de la selección de instrumentos y

procedimiento sutilizados; calidad del diseño de la investigación; eficiencia en la aplicación de los
instrumentos; adecuación del proceso de investigación; racionalidad de las consecuencias inferidas.
- Fase de formulación: grado de relación con las necesidades reales; coherencia con la política institucional;
grado de ventaja del proyecto sobre otras alternativas; relación entre objetivos-metas y necesidades a
resolver; grado de oportunidad en la ejecución del proyecto; cantidad y calidad de los recursos
disponibles; grado de apoyo al proyecto.
- Fase de implementación: calidad de las tareas de motivación; grado de cumplimiento de las tareas
organizativas en los plazos previstos; disponibilidad de recursos
- Fase de ejecución: propiedad del proyecto; idoneidad del proyecto; efectividad del proyecto; eficiencia
del proyecto.

Definición de unidades de medida

Asignar números a criterios de acuerdo con ciertas normas

Definición de la periodicidad de los cortes evaluativos

Ideal: evaluación en cada una de sus fases. A veces se cree que con solo al final es suficiente; error se deben
realizar cortes evaluativos en:

- Al término de la investigación previa al proyecto. Seria evaluación de diagnostico

- Al termino del proceso de formulación del proyecto. Sería evaluación de diseño
- Al termino de la fase de implementación del proyecto
- En la ejecución del proyecto
- Al término de la ejecución total del proyecto

Schuman (1970), estableció cuatro etapas:

- Fase piloto: ensayo-error en desarrollo del programa

- Fase modelo: estrategia del programa en condiciones controladas
- Fase prototipo: el programa modelo se sujeta a condiciones de ejecución realistas
- Fase institucionalizada: el programa es parte actual y activa de la organización

28
Elección de los instrumentos

Son los instrumentos que nos van a ayudar a recoger los datos de esas observaciones que vamos a realizar de
la realidad. Serian los datos sobre esas unidades de observación.

Determinación de recursos

Definir la cantidad y calidad de los recursos que intervendrán en el proceso evaluativo:

- Recursos humanos: las personas que desarrollan las diferentes tareas

- Recursos materiales: material de oficina, impresión de cuestionarios, programas de tratamiento de datos,
etc
- Recursos financieros: contratación de personal, dietas, gastos imprevistos, etc.

3. IMPLEMENTACIÓN DE LA EVALUACIÓN

Todo el proceso organizativo que es necesario desarrollar antes de iniciar la ejecución propiamente de la
evaluación. Deben ser realizadas previamente al inicio de la evaluación, antes de implementar en sí
necesitamos hacer algunas tareas como pueden ser:

- Confección de instrumentos de evaluación.

- Consecución de recursos.
- Preparación del equipo evaluador (ejemplo formación encuestadores).

PASOS EN LA EJECUCIÓN DE LA EVALUACIÓN

Una vez finalizada la implementación de la evaluación pasamos a la ejecución de esta. Hasta aquí es más
teórico y esta parte ya es práctica. Pasos en la ejecución de la evaluación:

4. Aplicación de las mediciones. Consiste en coger los cortes evaluativos y los instrumentos y aplicarlos. Aquí
ya tenemos los datos brutos.
5. Análisis de los resultados. Aquí una vez que tenemos los datos brutos de la anterior fase y los depuramos,
metiéndolo en la base de datos, modificándose, depurándolos…
6. Formulación de las conclusiones. Aquí se realiza unas conclusiones del análisis de los resultados.
7. Adopción de las medidas de retroalimentación. Lo que diferencia la evaluación de otras técnicas es que
establece una serie de recomendaciones, entrando por tanto en juicios de valor.
8. Introducción de las medidas en el proceso. El quien lo hace depende de quien sea el encargado de la
gestión de pol publi, si es ev de carácter interno es la propia institución y si es externo el evaluador externo
(jefe de negociado, director general...). Todo depende del carácter de la evaluación

29
 TEMA 7: MODELOS O DISEÑOS EVALUATIVOS
INTRODUCCIÓN

La evaluación pretender saber la relación causa-efecto de la ejecución de una política pública o programa.
Para ello tira de metodología de la experimentación. La experimentación es una investigación científica en la
que controlamos y manipulamos las variables de entrada y observamos las variables de respuesta.

Tipos:

- Experimento de laboratorio: creamos la situación

- Experimento de campo: en una situación real (programa), tienen validez externa.

EXPERIMENTACIÓN

Condiciones para que A cause B según la filosofía de la ciencia:

- A y B están correlacionados o asociados.

- Variaciones de A son anteriores a las de B
- Ningún otro factor afecta a B. Si hay algún factor se puede medir y separar su efecto del de A

Variables “extrañas”: Son las variables que afectan a esa relación

- Historia. Son hechos que suceden en el entorno del programa, que son externos al individuo y afectan a
los resultados del programa. Por tanto, eventos externos que afectan al grupo que sufre el tratamiento.
- Maduración. Hace relevancia a eventos internos, es decir, que la población ha tomado cierta
concienciación en cuestiones internas al propio individuo en el trascurso de la medición.
- Efectos de prueba/test. El sujeto es consciente de que lo están sometiendo a prueba y puede cambiar su
comportamiento.
- Instrumentación. Para la primera medición de la población pregunto de una manera y en la segunda se
formula de diferente forma o la escala de medición.
- Regresión estadística. La aplicación de la técnica no es correcta y puede dar lugar a errores
- Sesgo en la selección. Tiene que ver con la selección de los miembros de la población o del grupo de
control de ambos lados. Si en la selección de los miembros de los grupos hay algún tipo de sesgo, puede
alterar los resultados.
- Mortalidad. Puede ocurrir que entre una medición y otra haya sujetos que se han cambiado de residencia,
en ese momento no están en su casa, no quieren responder a la encuesta o han fallecido, porque si en
una encuesta haces 1000 mediciones, en la segunda tienes que volver a preguntarle. Por tanto, hace
referencia a las variaciones de personas entre la primera encuesta y la segunda, y no has podido
preguntarle.

Para hacer un experimento tenemos que controlar estas variables extrañas.

30
DISEÑOS EVALUATIVOS

1. Antes- después con grupo de control (grupo experimental puro)

o Grupo experimental: 01 X 02
o Grupo de control: 03 04
2. Después solamente con un grupo de control (grupo experimental simplificado)
o Grupo experimental: X 01
o Grupo de control: 02

Grupo de control no son beneficiarios del programa, el grupo experimental sí. La X hace referencia al
tratamiento o causa.

DISEÑOS O MODELOS EXPERIMENTALES.

1. Modelo Experimental puro.

2. Modelo Experimental simplificado.

DISEÑOS O MODELOS CUASIEXPERIMENTALES.

1. Modelo de Grupo de Control no Equivalente

2. Modelo de Series Temporales.
a) Modelo de Series Temporales Múltiples.

DISEÑOS O MODELOS NO EXPERIMENTALES.

1. Modelo Antes – Después.

2. Modelo únicamente Después.
3. Modelo únicamente Después con Grupo de Comparación.

A. MODELO EXPERIMENTAL

a.1. Modelo Experimental puro = con grupo de control y antes-después

a.2. Modelo Experimental simplificado = con grupo de control solo después

Antes tratamiento después

Gr. Experimental R1./A/01 X R2 =D1
B/01
Gr. Control R1/ C/03 R2/ D/04 =D2
DA DB

Las diferencias entre el grupo de control y el experimental en el “antes” tienen que ser mínimo. ¿Cuándo
decimos que la política es un éxito o fracaso? Cuando las diferencias que hay se deben al tratamiento. Entonces
las diferencias en el grupo de control no deben de modificarse porque no estas haciendo nada. En todo caso,
las diferencias del después del grupo de control tienen que ser menores que las del del después del grupo
experimental. Se espera que los cambios se produzcan en el después del grupo de control.

31
O2-01 > 04-03
B-A > D-C
R2-R1 > R4-R3

Leyenda tabla:

R1GE, R2GE: resultados del análisis del grupo experimental, antes y después de la ejecución del proyecto

R1GC, R2GC: resultados del análisis del grupo de control, antes y después de la ejecución del proyecto

D1, d2: diferencias entre los resultados medidos entre las dos fases

DA, DB: diferencias entre los resultados medidos en el grupo experimental y el grupo de control.

Los integrantes del grupo de control y el experimental tienen que ser seleccionados al azar, si no, no estamos
hablando de modelos experimentales. Tiene que ser un muestro probabilístico.

El modelo experimental simplificado solamente tenemos la segunda columna de la tabla, tendríamos el

tratamiento y ya el “después”. ¿Cuándo se utiliza? Cuando el evaluador llega tarde porque se le haya llamado
tarde para realizarla o porque anteriormente no hacía falta.

¿Cuál es la funcionalidad? Es las diferencias entre los bloques nos dirá si el proyecto es un éxito o no lo es. Es
aconsejable la utilización del modelo experimental cuando se requiera una gran confianza en los resultados.

Tenemos que tener en cuenta el efecto “han thorne” que puede verse influenciado a la hora de la
implementación de la política pública. Viene a decir que si la población o beneficiarios, si las personas saben
que están siendo observadas, hacen mejor su trabajo o le prestan mayor atención.

MODELOS CUASIEXPERIMENTALES

B1. Modelo de Grupo de Control no Equivalente

Se utiliza grupo experimental y grupo de control elegido por conveniencia conocido por Grupo de
comparación (inadvertentes + inelegibles geográficos)

- Inadvertentes: aquellos que serían beneficiarios del proyecto, pero no se enteraron.

- Inelegibles: población con características similares pero que se encuentran en un territorio donde esa
política publica no se va a aplicar.

01 X 02 (grupo experimental → hacemos una medición, implementación de la política y medición)

01 02 (grupo de control, hacemos una medición → no hacemos tratamiento, y medición)

Aquí el grupo de control no está elegido al azar, se elige un muestreo por conveniencia, son muestreos no
probabilísticos. Mientras que en el experimental puro sí que elegían al azar. Los miembros del grupo
experimental se eligen por conveniencia. Cuando no hay un censo para saber cuantas personas son es
necesario hacer un muestreo por conveniencia.

El experimental si puede ser al azar, pero el de control siempre es por conveniencia.

32
Por ejemplo, política sobre extranjeros. Los beneficiarios sabemos que son por ejemplo los que se han inscrito
en un curso de español, o los que acuden a los servicios sociales. En este caso como sabemos quiénes son,
podemos realizar una muestra al azar porque sabemos cuales son y cuantos. El grupo de control no tenemos
porque no sabemos donde viven o quienes son porque hay ciertos colectivos donde no puedes realizar un
muestreo, puede ser que muchos inmigrantes no estén censados y registrados en el municipio.

Por ejemplo, la universidad sí que tiene un registro de los profesores y sí es fácil hacer un censo de profesores.
Pero encontrar a los 3000 inmigrantes de Granada es difícil porque puede ser que no estén censados.

B2. Modelo de Series Temporales.

Serie de mediciones a intervalos periódicos, antes de que comience el proyecto y una vez acabado. Pueden
ser mediciones sobre la misma población o sobre población distinta. Entre medias se produce la aplicación de
la política pública, no tiene que ser en el 4 o 5, puede ser antes o después. Pero la política publica tiene que
ejecutarse entre dos mediciones.

01 02 03 04 X 05 06 07

B2.a) Modelo de Series Temporales Múltiples.

Variación del modelo de series temporales. Se realizan mediciones del programa como en las series
temporales y se comparan con las de otras contextos.

01 02 03 04 X 05 06 07
02 02 03 04 05 06 07

MODELOS NO EXPERIMENTALES

- Son menos rigurosos. La fiabilidad o validez de los datos es menor

- Más manejables
- A veces es la única solución posible, sobre todo en proyectos de carácter social.

1. Modelo Antes-Después

Medimos la situación del problema antes de que se ponga en marcha el proyecto, y una vez que el proyecto
ha finalizado. También podemos hacer esas mediciones en las fases intermedias. Comparamos las mediciones
intermedias o la final con esa medición inicial.

O1 – posibles mediciones “durante X” 02, 03…… 05 Final

2. Modelo Únicamente Después

El evaluador no se encuentra en el primer momento. Este modelo al evaluador lo llaman cuando la primera
parte de la política publica ya se ha aplicado, entonces solo puedes hacer la medición segunda. O que la
primera observación se ha hecho mal y entonces no podemos compararla, o que la naturaleza del proyecto
no demanda realizar una primera evaluación.

02

33
Imaginamos 01 → 01X02

Nos imaginamos la observación primera a partir de datos secundarios. El problema sería encontrar datos
secundarios, pero me tengo que trasladar a esa primera observación.

3. Modelo Únicamente Después con Grupo de Comparación

X O1

01

No tengo una observación primera, se aplica la política pública y luego otra medición. Entonces aquí coges una
población similar para saber que medición más o menos se ha hecho antes para compararla, tienen que tener
características similares a los de la población.

34
 TEMA 8: EL PROCESO DE MEDICIÓN
La medición está presente en cualquier aspecto de la vida y se manifiesta de manera consciente e inconsciente.

EL PROCESO DE MEDIDA

Concepto: asignar un numero real a cada objeto de un conjunto de acuerdo con unas reglas determinadas,
que persiguen obtener una buena correspondencia entre las características que se pretenden medir y los
números asignados.

Aspectos a tener en cuenta:

- No se miden objetos, sino sus características. Por ejemplo, no medimos el pelo, sino el color del pelo. Se
miden las características o atributos que tenga ese objeto
- La asignación de símbolos se realiza con reglas. Siempre que se aplique esa asignación de números se
seguirá la misma regla. Por ejemplo, pelo rubio 1, moreno 2, pelirrojo 3, canoso 4… siempre tenemos que
darle el mismo símbolo.
- La asignación de símbolos a los objetos facilita la comunicación del conocimiento

Se aplican números (generalmente) lo que permite aplicar matemáticas, establecer comparaciones y

comunicar resultados

Sin embargo, que el numero admita cierta operación matemática no implica necesariamente que la admita
la característica medida. Que se aplique a esa característica a un número no significa que esa característica
permita que se realicen operaciones matemáticas, por ejemplo que admita 4,5 pero el objeto admita solo 4 o
5

DISEÑO DE INDICADORES

Uno de los aspectos más complejos en evaluación de proyectos. Los indicadores sirven para medir el grado en
que se alcanzan los objetivos y metas

¿Qué hacer? Se puede recurrir a evaluaciones hechas a proyectos semejantes y utilizar similares o parecidos
indicadores. La ventaja es que esos indicadores ya están validados.

¿y si no hay? Tenemos que identificar los indicadores más adecuados para su proceso.

Para valorar el grado de éxito de un objetivo y por ende de una meta, los objetivos deberán de ser medidos
desde diferentes ángulos. Para medir un objetivo no basta con un solo indicador, sino que deben ser utilizados
varios indicadores.

Un indicador es una unidad que sirve para medir el grado de obtención de objetivos y metas. Un indicador
debe ser:

- Medible: tener criterios de cantidad, calidad y tiempo

- Objetivamente verificable: cualquier persona que lo aplique debe llegar a la misma conclusión
- Válido: medir lo que es importante

35
PROCESO DE MEDICIÓN A TRAVÉS DE INDICADORES

Pasos:

1. Identificar los indicadores para medir el cumplimiento de objetivos

2. Determinar la forma de cálculo para medir cada indicador. La formula de calculo la decide el equipo
evaluador.
3. Recogida de información a través de la determinadas técnicas e instrumentos
4. Determinar los porcentajes. En relación a la obtención de cada objetivo y de la meta (comparar puntuación
máxima y real)
5. Estimación del grado de obtención de la meta.

EJEMPLO DE PROCESO DE MEDICION A TRAVÉS DE INDICADORES.

36
 TEMA 10: RETROALIMENTACIÓN
Tenemos la situación inicial que se espera que conlleve unas metas. Lo que ocurre es que la situación inicial
puede verse a través del seguimiento el comportamiento real y el comportamiento previsto, lo normal seria
que tomara el comportamiento real pero puede ser que no.

La retroalimentación consiste en corregir la actuación para que vuelva a los objetivos y metas que estaban
previstos en una situación inicial.

El sistema de seguimiento tiene unos criterios claros. Si el proyecto va pegadito a la línea de pronostico no es
necesario establecer correcciones

PROCESO DE CONTROL

− Situación deseada → programación

− Comparación de la situación deseada y la real → evaluación
− Acción correctiva → reprogramación
− Conjunto de acciones correctivas → mensaje de retroalimentación

Medidas correctivas

Estas medidas podrían venir con un sistema de seguimiento o de indicadores. Las medidas correctivas que
serían es mensaje retroalimentador que tienen que llegar al programa cuando detectan que la situación real
excede de las líneas que hemos marcado como límites.

A. Objetivos
- Cantidad (modificar el número de objetivos propuestos en caso de que fuera imposible conseguirlos
todos)

37
- Calidad. Si se esperaba un cierto impacto de calidad del objetivo, pues reducimos la calidad cuando
veamos que es imposible llegar a los niveles de calidad establecidos.
- Plazos. Marco temporal de acción.
B. Metodología. Hace referencia a la metodología del programa, no de la evaluación. Hablamos del sistema
de actuación que se da en ese terreno. Aquí tendríamos que cambiar la metodología que se está utilizando
porque puede que no sea la más adecuada (deberíamos introducir ajustes), o puede que no se pueda
llevar a cabo.
C. Recursos
- Humanos. Alteración de ese cuadro de recursos humanos
- Económicos/materiales. Hablaríamos de recursos materiales, sería una modificación de esos recursos
económicos utilizados. O son insuficientes y hay que establecer correcciones porque no llegan para la
gestión del proyecto y por tanto habría que ampliarlos. O porque la calidad de esos recursos no sean los
precisos.

El mensaje de retroalimentación va a venir determinado por cualquiera de estas actuaciones y puede ser sobre
una de esas cuestiones o sobre varias.

La calidad va a depender de la capacidad que se tenga de detectar las desviaciones del proyecto, de saber
interpretar las desviaciones del proyecto, ser capaz de ver dónde están las causas y tendríamos que proponer
esa corrección.

EJEMPLO. En 4 meses tenemos que constituir 12 instituciones y vemos que no llegamos. ¿qué cambiamos?

1. Ampliar el plazo
2. Reducir el número de objetivos/organizaciones.
3. Aumentar el número acciones para poder constituir más asociaciones
4. Modificación de metodología del programa
5. Revisar los recursos humanos, por ejemplo podemos parar el proyecto 1 mes para formar a los recursos
humanos sobre constitución de instituciones.

Grupo activante

El grupo activante es al que le corresponde recibir ese mensaje de retroalimentación. Es ese grupo de
personas que tienen la cuota de poder necesaria para introducir las medidas que el equipo evaluador le ha
dicho. Están dentro de la administración o ejecución del programa, el grupo activante puede ir desde el
recepcionista hasta el jefe que esta en su oficina.

MEDIDA CORRECTIVA // GRUPO ACTIVANTE

- Corregir metodología → ejecutores de base

- De tipo administrativo → coordinador general o director del programa
- Recursos humanos → supervisores externos
- Características fundamentales del programa: cantidad, calidad y plazos de objetivos → autoridad superior
de la institución responsable del programa.

38
Para que el grupo activante funcione tiene que darse dos condiciones:

- Que una persona del grupo activante asuma la responsabilidad de aplicar la modificación. Tome conciencia
de que hay que introducirla
- Que no se dilate en el tiempo, es decir, tan rápido como sea consciente debe de corregir los fallos porque
puede ser que la situación haya cambiado.

ANILLO DE RETROALIMENTACIÓN

Sería una propuesta a modo de la funcionalidad de este sistema de retroalimentación.

En primer lugar hay que identificar las desviaciones del proyecto en marcha, tras ello se ha de realizar un
análisis de las causas que han producido estas desviaciones a través del sistema de acción o mecanismos de
sensores. Una vez que están analizadas, habría que programar la acción correctiva, la proposición de medidas
de retroalimentación (disminuir objetivos, calidad, aumentar el plazo...) que es lo que denominaremos
mensaje de retroalimentación que sería el conjunto de acciones correctivas. Luego pasaríamos a la
implementación de las correcciones por parte del grupo activante, que toma conciencia de que las ha de
aplicar e implementa las acciones correspondientes en función de su nivel en la estructura.

A continuación, ya introducidas las correcciones, habría que establecer el desempeño deseado tras las
medidas correctivas, y después veríamos el desempeño real y lo medimos, para ver el efecto de las acciones
a través de diferentes sensores e indicadores. Por último, se compararía lo real con la norma, viendo si se ha
cumplido lo previsto con la política pública y lo real, lo previsto en la nueva adecuación.

39
 TEMA 11: EL PROYECTO DE EVALUACIÓN
Un proyecto de evaluación debe comprender:

1. Definición de la evaluación

- Título de la evaluación
- Objeto de la evaluación. Introducir el objetivo e introducir que vamos a evaluar (evaluamos el objetivo tal
que va de esto y esto).
- Tipo de evaluación y su justificación. Evaluación externa, intermedia. Explicar el objetivo último (3
criterios). (10-15 líneas).
- Modelo de la evaluación y su justificación. Podemos hablar de que tipo de diseño estamos realizando,
evaluación de la implementación tenemos que hablarlo aquí, o si es un diseño
experimental/cuasiexperimental… y justificar por qué es ese. (5-10 linas)
- Justificación de la importancia de la evaluación. Hablar de por qué es importante evaluar ese objetivo o
ese programa, en temas de repercusión que tiene la implementación de esa evaluación. Para que puede
servir esa evaluación, que impacto va atener en el lector o el que tenga que implementar otra política.
- Equipo evaluador. Seriamos nosotros, podemos dar un nombre como empresa o dar universidad de
granada facultad tal y explicamos un breve curriculum entre 5-10 líneas explicando quien forma parte del
equipo evaluador
- Quien financia la evaluación (responsable). El ministerio de asuntos sociales y agenda 2030
- Duración de la evaluación (tiempo total). Es el periodo de tiempo en el que vamos a realizar la evaluación,
que será de 3 meses, desde marzo hasta mayo.

2. Objetivos de la evaluación

Tabla con el indicador y la fuente. Según las fases del programa en que nos encontremos y tipos de
evaluación.

En el informe vamos objetivo por objetivo. Objetivo X fuente: datos secundarios del ine. Si el siguiente no
tiene datos del INE no vamos a crear el indicador, por lo que ponemos “este objetivo no va a ser evaluado”
porque no tenemos dato secundario.

- Objetivos
- Subobjetivos u objetivos operativos
- INFORME. Definición de conceptos ambiguos que estén en el titulo del objetivo. Que va a entender el
quipo por esa definición.
- Variables a tener en cuenta. En que nos vamos a centrar, qué vamos a medir (vendrá dado por el titulo
del objetivo). Si tenemos variables dependientes e independientes hay que tenerlas en cuenta
- (indicadores). Definir unidades de medida. Es cómo lo vamos a medir, hay que tener una unidad y desde
esa observación hay que ver cuantas unidades hay en esa cantidad prevista. Necesitamos establecer unas
unidades de análisis.
- Definir indicadores a utilizar

40
 3. Metodología

- Descripción del modelo o diseño elegido: recogida de información, elección de G.C y G.Exp, variables a
comparar. (no vamos hacer grupo de control). De donde vienen los datos, qué elementos vamos a
comparar esto viene de la mano con los indicadores
- Para cada uno de los objetivos o subobjetivos nombrados, definir técnicas e instrumentos de recogida
de información. Para este objetivo vamos a recoger información de esta forma (grupo de discusión,
fuentes secundarias, encuestas, análisis de documentación…). Tenemos que indicar que los datos son
secundarios y decir de que institución viene, eso si el indicador es creado por una institución. Otros
indicadores los vamos a tener que crear nosotros. Por cada indicador que copiemos tenemos que
inventarnos uno. También podemos criticar los indicadores que han hecho los organismos…
- Desarrollar completamente cada uno de los instrumentos nombrados.

Para la evaluación de este objetivo se recurrirá a datos secundarios de el instituto de estadística.

La encuesta la subcontratamos a otra empresa. Pero no tenemos que hacer encuesta.

o Definir tipo
o Clase de fuente de información
o Instituciones a visitar
o Personas a entrevistar. Si son menores de edad hay que decir lo del permiso ético.
o Elección de entrevistados o grupos de discusión
o Encuentra: muestreo, bloques temáticos, nº de encuestados, tipo de preguntas, error muestral,
nivel de confianza, aplicación…
- Definir y desarrollar indicadores en cada objetivo
- Tipo de análisis para cada instrumento. Por ejemplo decimos que vamos hacer una encuesta, a quien se
la hacemos y explicamos como se estructura la encuesta

4. Plazos y presupuesto

- Plazos: cuando empieza y cuando termina la evaluación (fechas). 21-03-2022 hasta el 25-05-2022. Cortes
evaluativos y du duración (mini evaluaciones, no tenemos que hacerlo), cronograma de actividades

- Presupuestos/recursos: definición de recursos necesarios. Inventario de recursos materiales, recursos

económicos (presupuestos por partidas y financiación), recursos humanos.

41
 TEMA 12: EL INFORME DE EVALUACIÓN.
La evaluación, en general da lugar a dos tipos de evaluación: el informe final y el informe ejecutivo.

CARACTERISTICAS DEL INFORME FINAL

El informe debe de mantener una secuencia lógica en la que se presenta en s totalidad el proceso evaluador,
incluidas su metodología, las fuentes y la evidencia sobre los hallazgos obtenidos.

2 cuestiones importantes: (a) Justificación de metodología y (B) el juicio de valor.

(A) La descripción de la metodología debe incluir:

- Fuentes de información
- Descripción de los métodos de recolección y análisis de datos (que incluya el nivel de precisión requerido
para los métodos cuantitativos, así como las escalas de valores o codificaciones empleadas en el análisis
cualitativo)
- Indicadores y parámetros referenciales, ahí donde sea relevante (indicadores previos, estadísticas
nacionales, etc)
- El equipo de evaluación, incluyendo la participación de los miembros individuales
- El Plan de evaluación
- Restricciones clave

(B) Juicio de valor (conclusiones sobre la evaluación). Un informe de evaluación no puede recoger opiniones
o especulaciones en relación con el objeto de evaluación “las conclusiones tienen que estar sustentadas
por hallazgos que sean consistentes con los datos recolectados y por la metodología, asimismo, deben
aportar elementos de juicio conducentes a la identificación y/o solución de problemas o temas
importantes).

Características formales:

- Legibilidad: debe ser claro (escritura y razonamientos); calidad de la argumentación; presentación y

explicación de los datos
- Articulación: el informe debe seguir una secuencia lógica
- Solidez: propio proceso evaluador y referencias utilizadas.

ESTRUCTURA DE INFORME FINAL

- Capítulo 1: introducción

Debe de contener el mandato (quien nos la encarga), objeto y delimitación de la evaluación y los objetivos,
justificación y unidad de evaluación.

42
- Capítulo 2: descripción de la intervención

Descripción del contexto en el que nos encontramos vamos a evaluar los ODS por naciones unidadas ,
reconstrucción de la lógica de intervención, estructura y descripción de la intervención. Grado de
implementación y sistemas de seguimiento y evaluación.

Introducir la lógica que hay detrás de esa intervención a través de un análisis un poco mas extenso.

- Capítulo 3: enfoque y metodología de la evaluación

Aquí tenemos una descripción de el enfoque evaluativo y las herramientas que se han llevado a cabo. 1,
enfoque de la evaluación, 2 principales hipótesis, 3 herramientas de evaluación, 4 limitaciones de la
evaluación.

- Capítulo 4: análisis, interpretación, síntesis

- Capítulo 5: conclusiones y recomendaciones

Conclusiones generales de cada criterio utilizado

- Anexos.

EL INFORME EJECUTIVO

Los informes ejecutivos contemplan:

- Una breve descripción del mandato de evaluación

- Una breve descripción de la intervención objeto de evaluación
- Un resumen del enfoque metodológico y de las herramientas de evaluación, así como de las limitaciones
de la evaluación
- El capítulo íntegro relativo a las conclusiones y recomendaciones del informe completo de evaluación.

El informe ejecutivo son el capitulo 1, 2 y 3 del informe final resumidos y también el capitulo 5 del informe
final.

CRITERIOS DE CALIDAD DE LOS INFORMES DE EVALUACIÓN

- Precisión en el objeto, alcance y propósito de la evaluación

- Coherencia en los objetivos, preguntas, procedimientos, resultados y conclusiones
- Relevancia y claridad de los contenidos
- Explicitación clara de la metodología utilizada y de las herramientas de recopilación de información
- Consistencia de la selección y recogida de los datos con la metodología y herramientas seleccionadas,
garantizando su fiabilidad y validez y con un detalle suficiente respecto de las fuentes de información.
- Análisis riguroso, mediante un razonamiento lógico consistente
- Adecuación de las conclsusiones a las preguntas y/o criterios contemplados en la evaluación y a los
resultados alcanzados
- Recomendaciones comprensibles, útiles, factibles y suficientemente claras como para poder considerar
su inclusión en un plan de acción

43