GLPS Neirotti
GLPS Neirotti
GLPS Neirotti
practices”, en New Directions for Evaluation, Inc., 2012 (en prensa). Traducción del autor: “La
evaluación en América Latina: paradigmas y prácticas” (mimeo).
Nerio Neirotti1
Prohibida su reproducción parcial o total sin permiso escrito de la editorial.
INTRODUCCIÓN
PERSPECTIVA DE LA EVALUACIÓN
1
Sociólogo, especializado en análisis y evaluación de políticas públicas, Vicerrector de la Universidad
Nacional de Lanús, ex Coordinador de Programas de Evaluación de IIPE UNESCO Sede Regional
Buenos Aires.
1
El Joint Committee on Standards for Educational Evaluation (1981) brinda la
siguiente definición: “la evaluación es el enjuiciamiento sistemático de la valía o el
mérito de un objeto”. Etimológicamente, evaluar significa “valorar”, es decir, dar valor
a algo o alguien. Implica, en consecuencia, hacer un juicio a partir del cual se ubica el
objeto evaluado en algún punto de un continuum que tiene dos extremos: más / menos,
mucho / poco, cerca / lejos, bueno / malo, adecuado / inadecuado, logrado / no logrado,
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
etc.
En tal sentido, la evaluación debe cumplir con todos los requisitos teóricos y
metodológicos de cualquier investigación. Pero se trata de conocimiento aplicado,
orientado a arrojar luz a las decisiones que se toman en los ámbitos públicos. También
resulta común en nuestros días encontrar que, junto con las decisiones de carácter
normativo que se toman desde los espacios centrales (o en la cúspide de la estructura
jerárquica de los sectores gubernamentales tales como salud, educación, desarrollo
social, economía, trabajo, etc.) existe un gran número de experiencias a nivel local o
implementadas en la base de los sistemas (escuelas, centros de salud y hospitales,
centros comunitarios) que tienen una orientación innovadora y que pueden brindar
valiosos elementos para la transformación de las políticas, en la medida que tengan
2
anclaje institucional. Éstas ofrecen nuevos hallazgos y lecciones que facilitan la
transferencia de experiencias a una escala mayor de aplicación y permiten de este modo
producir generalizaciones a partir de casos particulares (Neirotti, 2008).
La evaluación tiene también como finalidad la facilitación del diálogo entre los
involucrados. No sólo están concernidos en las políticas y programas los hacedores,
políticos y técnicos, sino también los destinatarios de las mismas, los proveedores de
insumos varios, los comunicadores y todos aquéllos que construyen valor en relación
con una política o están concernidos de algún modo por ella. La evaluación debe
proseguir dos propósitos más para ser útil. Por un lado, debe ser un instrumento para
mejorar las condiciones de responsabilización (accountability) interna y externa. El ser
evaluado contribuye a que los agentes de política respondan por su producción no sólo
en el ámbito del sector gubernamental al cual pertenece (responsabilización interna)
sino también ante el mundo político y social (responsabilidad externa), demostrando su
compromiso por generar servicios de excelencia. Y por este camino se provee también
de mayor transparencia a los procesos, sistemas y políticas, contribuyendo a través de
las evaluaciones al debate público en torno a una actividad que es patrimonio de toda la
sociedad.
3
en un marco institucional determinado y que acarrea antecedentes históricos. Si
tomamos, por ejemplo, la política educativa, los actores (políticos, burócratas
gubernamentales, técnicos, científicos, educadores, gremios, alumnos y sus familias,
empresarios, iglesias, etc.) luchan por imponer sus puntos de vista, sus valores y sus
prioridades en función de sus intereses y, en este sentido, según sea la cuota de poder
que posean, se configuran cursos de decisión y acción desde el Estado –aunque con
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
Tampoco es el campo científico y académico el que define los valores o fines que
deben orientar las políticas públicas, sino que lo hacen los ciudadanos desde el campo
de la política. Los valores no se imponen por razonamiento científico ni son
determinados por especialistas, sino que son el resultado del juego del poder. El camino
de construcción de las decisiones desde la política está trazado por luchas, equilibrios
inestables y acuerdos, llegando de este modo a la negociación entre los actores (o a la
imposición de medidas, por existir una situación de hegemonía, de unos hacia otros).
4
En este marco, la evaluación de las políticas y los programas debe tomar en
cuenta tanto los requisitos científico-técnicos como los políticos. Entre los primeros se
puede mencionar la consistencia del diseño, la pertinencia, la relevancia, la factibilidad
y la sustentabilidad, la eficiencia, la eficacia y la efectividad, entre otros. En relación
con los segundos cabe mencionar la viabilidad politica e institucional, el consenso
existente para hacer sostenible un programa, el fortalecimiento institucional que se
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
5
los 90; (c) el período actual, de reflujo del Estado y de la política. El Estado
omnipresente del primer período fue sucedido por una propuesta de achicamiento y
retirada del mismo para revertirse posteriormente con una línea de recuperación de la
intervención estatal y de dinamización de la actividad política.
6
privada mientras se aplicaron medidas que tuvieron su máxima expresión en las
recomendaciones surgidas del Consenso de Washington.
políticas vuelve a tener una importante presencia, aunque desde una perspectiva
estratégica, superadora de la rígida y asfixiante planificación normativa, y sin dejar de
considerar necesaria la transformación del Estado (modernización de la gestión y una
Prohibida su reproducción parcial o total sin permiso escrito de la editorial.
Con las reformas del Consenso de Washington hubo un impulso decidido a las
tareas de evaluación en las políticas públicas. Junto a los procesos de desestatización,
privatización, desregulación, desconcentración y descentralización, y a la par del
impulso que se dio a los organismos de capacitación para los agentes de la
7
administración pública, se consideró necesario contar con organismos evaluadores que
monitorearan y valoraran los resultados de la aplicación de las políticas en sus nuevas
modalidades de gestión. En esta época se formaron estructuras orientadas a evaluar de
modo sistemático los servicios de los distintos sectores gubernamentales (educación,
salud, acción social, etc.) y cobraron fuerza sistemas nacionales de evaluación con
distintos grados de cobertura y desarrollo, tales como el Sistema Nacional de
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
En este período se hizo hincapié en la evaluación desde una perspectiva que fue
de la mano de las llamadas reformas de segunda generación 2, dándole un fuerte impulso
al estudio de los resultados en el marco de las políticas de modernización del Estado y
de la instauración del paradigma de la nueva gestión pública. Más que un Estado
productor de bienes y servicios, con este paradigma se propugnó uno desregulador,
promotor y coordinador. En consencuencia, la evaluación, más que estar apegada a las
normas, viró su atención hacia los resultados, el alcance de metas y a la calidad del
desempeño de la gestión pública (Saltzman, 2003; Cunill Grau y Ospina Bozzi, 2003).
8
despliegue notorio del mismo, en conjunción también con el alto grado de movilización
de los movimientos sociales que se generó en la región (de campesinos, de identidad
racial, de género, locales, etc.)
Cabe recordar que, a su vez, se buscó cumplir con un doble propósito: por un
lado, conocer cómo funcionaban las políticas públicas en general y en instituciones
correspondientes a cada sector (sistemas provinciales de educación y salud, escuelas,
hospitales, centros de salud, oficinas provinciales y municipales de desarrollo social,
etc.) a partir de sus resultados; pero por el otro, generar competencia entre los distintos
efectores de los servicios (escuelas, hospitales, etc.) y conformar “cuasimercados” que
aseguraran el mejor producto sobre la base de una buena “elección racional” de los
“clientes”, estrategia de dificultosa aplicación y bajos resultados a partir de las
condiciones desiguales de la ciudadanía y la dudosa posibilidad de “elegir”.
9
donde confluyen el gobierno nacional con los provinciales / estaduales y municipales, y
de “gestión asociada”, con la participación de agentes gubernamentales y no
gubernametales. A su vez, se avanza en el desarrollo de políticas intersectoriales, donde
confluyen distintas áreas del gobierno y de la sociedad civil (educación, salud, trabajo,
género, infancia, juventud, etc.) para la solución de problemas, integrando agendas,
estrategias y presupuestos.
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
Todo esto invita a prestar mayor atención a los aspectos políticos de la evaluación,
toda vez que la complejización de la interactoralidad supone aunar voluntades, construir
consensos, gestionar las diferencias e interpretar valores, intereses y discursos diversos
Prohibida su reproducción parcial o total sin permiso escrito de la editorial.
Además, emerge de manera cada vez más notoria el propósito de prestar mayor
atención a la comunicación y el uso del conocimiento generado a través de las
evaluaciones. No sólo es importante que éste sea válido (respondiendo a las necesidades
de cualquier investigación científica de consistencia en el uso de la teoría, el método y
los datos empíricos), pertinente y relevante (es decir, que se ajuste a las necesidades de
información que dan lugar a la evaluación y que se responda con un caudal suficiente de
datos de calidad), sino que también es menester desarrollar adecuadas estrategias de
comunición y asegurar la aplicación de los resultados de la evaluación para la toma de
decisiones.
10
Una de las dificultades generadas en las etapas anteriores es que tanto la
comunicación como el uso de las evaluaciones se dieron por garantizadas en virtud de
que se sobredimensionó el aspecto técnico. Prestar atención a los valores e intereses de
los diversos actores requiere construir puentes de comunicación desde el momento
mismo de la implementación de la evaluación, generando los ajustes necesarios con
anticipación (es decir, validando el proceso) a fin de garantizar el entendimiento y el
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
consenso acerca del objeto a evaluar y el modo de abordarlo. Tal como plantea G.
Majone (1996)) los académicos (sesgo prevaleciente entre quienes trabajan en
evaluación) frecuentemente olvidan que no basta con utilizar datos (o argumentos
Prohibida su reproducción parcial o total sin permiso escrito de la editorial.
fácticos) sino que también es menester saber argumentar y persuadir (algo que conocen
muy bien los políticos).
Cabe señalar una diferencia existente en las tres etapas en relación con el foco de
la evaluación. En la fase del Estado de bienestar el eje se centró en el control de los
procesos (preestablecidos por los planificadores), puesto que se entendía que una buena
planificación (desde la perspectiva normativa) garantizaba de por sí, si se aplicaba como
se había previsto, el logro de los resultados esperados. En la etapa posterior el énfasis
estuvo puesto sobre los resultados, entendiendo que se daba lugar a la libertad de
implementación de los diversos actores y niveles de gobierno y que esto generaba
mayor creatividad, eficiencia y efectividad. Pero a su vez requería de instrumentos
evaluativos que permitieran verificar la existencia de una buena gestión, además de
comparar experiencias y estilos.
Sin embargo, poca fue la atención que se puso sobre los procesos, de modo que no
se podía contar con explicaciones causales sobre la incidencia de los múltiples aspectos
11
de la implementación en los resultados de los programas. De este modo, la
implementación de programas pasaba a ser una “caja negra” y las recomendaciones
sobre la gestión de los mismos terminaban quedando libradas a la intuición de los
agentes. En una etapa como la actual, donde se ha visto que no es posible atenerse a
recetas uniformes de políticas y que los rumbos de las mismas están sujetos en gran
parte a la innovación y a la experimentación, se considera necesario indagar tanto sobre
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
los resultados como sobre los procesos de implementación, estableciendo los nexos
entre ambos que permitan fortalecer las recomendaciones y, de este modo, garantizar el
uso de la evaluación para la toma de decisiones.
Prohibida su reproducción parcial o total sin permiso escrito de la editorial.
12
Características de la evaluación en distintos contextos sociopolíticos
Parámetros
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
Presencia del Estado de Bienestar Retirada del Estado Retorno del Estado
Estado
13
(factibilidad /
viabilidad)
OPORTUNIDADES Y DESAFÍOS
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
Estas instituciones vienen formando sus propios recursos humanos desde hace
varios años y a su vez son fuente de demanda de capacidades de evaluación en el
mercado profesional de la región. En este sentido, han contribuido a la movilización de
recursos humanos desde diversos campos profesionales (sociología, antropología,
economía, educación, psicología, salud, etc.) que están confluyendo en el espacio de la
evaluación. Esta movilización ha dado lugar a la generación de ofertas de formación y
capacitación en el mundo académico, con distintos formatos: maestrías, cursos de
posgrado o materias de evaluación en carreras de especialización, diplomados y
maestrías. A su vez, son numerosos los seminarios y congresos con distintos focos
(políticas públicas, administración, metodologías de investigación, planificación, etc.)
que incluyen el tópico de la evaluación en sus agendas de discusión y diseminación y
las publicaciones científicas también contienen artículos dedicados a la temática. Todo
esto brinda un panorama promisorio para la profesionalización de la actividad que
requiere, no obstante lo anterior, la voluntad combinada de los ámbitos
14
gubernamentales, de las instituciones académicas de formación y de las sociedades o
redes de evaluadores.
En relación con las últimas, en gran parte de los países se han formado redes
nacionales de evaluadores por propia iniciativa de grupos organizados desde la sociedad
civil y existe la Red de Seguimiento, Evaluación y Sistematización de América Latina y
el Caribe (ReLAC) que nuclea a la mayoría de ellas. Además se ha formado, con el
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
15
inmediato: como la posibilidad de aprender juntos reflexionando sobre la práctica, de
dialogar, de conocerse, de reconocerse, de darle mayor calidad a las políticas, de
responsabilizarse y de hacer más transparente y valorada la propia gestión. En lo
mediato: como un instrumento para profundizar la democracia, generar mayores
condiciones de equidad y elevar la calidad de vida de toda la población.
Este material es para uso de la Universidad Nacional de Quilmes, sus fines son exclusivamente didácticos.
BIBLIOGRAFÍA
• Freire, Pablo (2008), Pedagogía del oprimido, Buenos Aires, Siglo XXI.
• Garretón, Manuel (2000), Política y sociedad entre dos épocas. América Latina
en el cambio de siglo, Rosario, Homo Sapiens.
16
• Majone, Giandomenico (1996), Evidencia, argumentación y persuasión en la
formulación de políticas, México, FCE.
17