DEPP2020

11
MÓDULO III
Parte 1
DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS
2
Contenido
MÓDULO III. LA EVALUACIÓN DEL DESEMPEÑO EN LA PRÁCTICA ........................................... 3

Introducción ..................................................................................................................................... 3
Lección 17. Programa Anual de Evaluación y Coordinación del proceso evaluativo ..................... 6
Lección 18. El proceso de contratación de una evaluación .......................................................... 12
Elaboración de los Términos de Referencia y procedimiento administrativo de contratación .. 15
Seguimiento del Proceso de Evaluación ................................................................................... 16
Integración del informe de Evaluación ....................................................................................... 20
Posición Institucional y publicación del informe ......................................................................... 24
Lección 19. Aspectos Susceptibles de Mejora .............................................................................. 30
Aspectos Susceptibles de Mejora .............................................................................................. 30
El proceso de definición y suscripción de los ASM ................................................................... 31
Clasificación y definición de los ASM ........................................................................................ 33
Aspectos Susceptibles de Mejora que derivan de los distintos tipos de evaluación ................. 38
Lección 20. Seguimiento de la información de desempeño .......................................................... 42

3
MÓDULO III. LA EVALUACIÓN DEL DESEMPEÑO EN LA

PRÁCTICA
Introducción
Si bien es importante conocer los tipos generales y específicos de evaluación en México y

las metodologías de investigación necesarias para obtener los resultados esperados, tam-
bién es indispensable conocer la forma como se lleva a cabo el proceso de contratación y
conclusión de una evaluación así como el uso que se le da a la información generada por
las evaluaciones una vez que estas terminan. Con esta idea en mente, el Módulo III del
Diplomado tiene como objetivo que los participantes conozcan el proceso de las evaluacio-
nes en México y el destino de la información una vez concluidas las evaluaciones.
En la Lección 17 se revisa en términos generales el Programa Anual de Evaluación
(PAE) que como su nombre lo indica, se publica de forma anual para dar a conocer las
evaluaciones que se llevarán a cabo o que comenzarán durante el ejercicio fiscal en curso
y a los Programas federales a los cuales les aplica. Es importante tomar en cuenta que el
PAE solo aplica a los recursos federales por lo que los recursos propios de entidades fede-
rativas, municipios y Demarcaciones Territoriales de la Ciudad de México no están consi-
derados en el PAE federal.
A lo largo de la Lección 18 se estudia el proceso de definición y contratación de una
evaluación desde la hechura de los Términos de Referencia hasta la recepción del Informe
Final haciendo especial énfasis que se le debe dar a la evaluación. Sobre este punto es
importante destacar el papel de la Unidad Responsable del Programa y del área de evalua-
ción de desempeño de la dependencia o entidad a la cual está adscrito el Programa no se
limita a contratar a un evaluador y posteriormente recibir el informe. Es indispensable que
ambos actores participen de manera activa de la forma como se describe en esta Lección.
Una vez concluida una evaluación, en el Informe Final se presentan una serie de
recomendaciones o hallazgos para mejorar el Programa presupuestario. En este punto, es
indispensable que se establezcan los Aspectos Susceptibles de Mejora (ASM) que son los
hallazgos, debilidades, oportunidades y amenazas identificadas en la evaluación las cuales
deben ser atendidas para mejorar el programa. En la Lección 19 se explica la importancia
de que se le dé un buen seguimiento a la atención de los ASM para garantizar que el es-
fuerzo realizado en la evaluación se traduzca en mejoras al Programa y por ende a la opti-
mización del ejercicio del gasto público.
En la Lección 20 se aborda el Índice de Seguimiento al Desempeño (ISeD) que es
un instrumento que consolida y sintetiza la información de desempeño de los Programas
presupuestarios con el fin de promover su vinculación con las decisiones presupuestarias.
Gracias al ISeD se puede ver la información de todos los Programas de la APF para poder
determinar su desempeño y con esta información nutrir al Sistema de Evaluación del
Desempeño.

4
En la Lección 21 se revisarán los fundamentos de la evaluación del desempeño de

los recursos propios de los gobiernos locales y se estudiará el Diagnóstico sobre el avance
en la implementación del PbR-SED, que es el instrumento que mide la forma como el PbR-
SED se aplica en gobiernos subnacionales, es decir, en las entidades federativas, munici-
pios y Demarcaciones Territoriales de la Ciudad de México. En esta misma Lección también
se discutirá sobre los principales retos para lograr su consolidación.
En la Lección 22 se revisará la normatividad que sustenta la evaluación del desem-
peño de los recursos federales transferidos específicamente de las aportaciones, subsidios
y convenios. También se estudia la forma como se coordina la evaluación del desempeño
para los Fondos del Ramo 33 de acuerdo con la reforma hecha en 2016 al artículo 49 Frac-
ción V de la Ley de Coordinación Fiscal.
A manera de cierre, en la Lección 23 se hace una serie de reflexiones sobre la eva-
luación del desempeño y los retos pendientes para optimizar el uso de la información que
se genera en el marco del SED. Primeramente se revisa la importancia de la ética en la
evaluación de Políticas y Programas Públicos como una serie de valores necesarios para
que la intervención pública no esté dirigida a atender los intereses de los distintos grupos
de poder, sino que siempre esté enfocada a la atención de una necesidad o problema pú-
blico de una población objetivo o área de enfoque que así lo requiera.
También se explica en términos generales qué son los datos abiertos y la importan-
cia de que la información del quehacer gubernamental no solo está disponible, sino que
cuente con una serie de características que faciliten su uso y que permita que personas con
diferentes perfiles y diferentes niveles de exigencia puedan llevar análisis propios. Todo
esto con el fin de contribuir a la generación de información útil para la mejora de las Políticas
y Programas Públicos. Adicionalmente se revisa la relación que existe entre los datos abier-
tos y el Sistema de Evaluación del Desempeño en México.
Finalmente, se destaca la importancia de la innovación del sector público incorpo-
rando buenas prácticas y haciendo uso de los datos disponibles para optimizar el ejercicio
del gasto público. Para ello se retoma lo estudiado en materia de Políticas Públicas basadas
en Evidencia. También se revisa una buena práctica de innovación con base en el uso de
Big Data.

5
LECCIÓN 17
Programa Anual de Evaluación y
coordinación del proceso evaluativo

6
Lección 17. Programa Anual de Evaluación y Coordinación del proceso

evaluativo
El Programa Anual de Evaluación (PAE) es un documento que en cumplimiento con lo es-

tablecido en los Lineamientos Generales para la Evaluación de los Programas Federales
de la Administración Pública Federal (Lineamientos) emiten la SHCP – UED y el CONEVAL
para dar a conocer las evaluaciones que se llevarán a cabo o comenzarán durante cada
uno de los ejercicios fiscales y a los programas federales que aplican. En la Figura 17.1 se
resumen lo que se aborda en el PAE.
Figura 17.1 Principales temas que se abordan en el PAE
Fuente: elaboración propia con base en el PAE 2019.
Hasta el momento se han publicado catorce ediciones del PAE, siendo la primera
del 30 de abril de 2007 y la última el 28 de abril del presente año. A lo largo del tiempo, el
contenido del PAE ha ido cambiando con el fin de afinar los procesos de coordinación entre
las distintas instancias involucradas y porque cada vez son más las evaluaciones que se
llevan a cabo durante los ciclos fiscales. Por ejemplo, en el PAE 2019 se contaba con 9
secciones mientras que para el PAE 2020 se cuenta con 11 secciones tal como se presenta
en la Figura 17.2.
En las Consideraciones Generales se presentan los objetivos del PAE, el glosario
de los principales términos que se utilizan en el documento y se definen a las instancias
coordinadoras y sus funciones. Los tres objetivos generales son determinar las acciones de
evaluación y monitoreo y los tipos de evaluación que se aplicarán; promover la vinculación
del cronograma de ejecución de las evaluaciones con el calendario de actividades de la
programación y presupuestación; y articular los resultados de las acciones de monitoreo y
evaluación para el cumplimiento del PAE.
La sección Diagnóstico de Programas se publica por primera vez en el PAE 2020
y tiene como objetivo el establecer las características que los diagnósticos de los Progra-
mas de nueva creación y los Programas con cambios sustanciales deben tener. Cabe men-
cionar que se consideran cambios sustanciales las modificaciones de los programas presu-
puestarios en el Fin o Propósito de su MIR, en la definición del programa público que busca

7
atender, en el objetivo que persigue, en su población objetivo o en alguno de sus compo-

nentes, tipos de apoyo o entregables que incidan directamente en el diseño del programa.
Figura 17.2 Estructura del PAE 2020
Fuente: elaboración propia con base en el PAE 2020.
En la sección de Monitoreo se establecen los criterios para la coordinación de la

aplicación y análisis de los instrumentos de monitoreo de políticas públicas, Programas pre-
supuestarios y Fondos de Aportaciones Federales. También se establecen las bases para
los estudios sobre el monitoreo de políticas y programas sociales y para la consolidación
del Sistema de Monitoreo de Programas Sociales.
Por su parte, el Proceso de Evaluación está conformado por cuatro partes: coordi-
nación, contratación, presupuesto y difusión. En la coordinación se establecen las funciones
de cada una de las partes involucradas en la hechura de las evaluaciones. Estas partes son
las instancias coordinadoras (SHCP-UED y Coneval), el Área de Evaluación de la depen-
dencia desde donde se ejecuta el Programa y la Unidad Responsable a cargo del mismo.
En la contratación se describen las características que deben tener los evaluadores y la
disponibilidad de los Términos de Referencia para cada tipo de evaluación. En el presu-
puesto se establece la procedencia de los recursos para el financiamiento de las evaluacio-
nes, diferenciando entre los programas de orden federal y los realizados a los Fondos de

8
Aportaciones Federales. Finalmente, se mencionan las consideraciones para la difusión de

resultados. Sobre este último punto es importante recordar que las evaluaciones del desem-
peño en el marco del SED son información pública que forman parte de los informes trimes-
trales que el ejecutivo federal le hace llegar al Congreso de la Unión.
En la sección Evaluación de Programas presupuestarios se describe de forma
general en qué consisten cada una de las evaluaciones por aplicarse durante el ciclo fiscal
y algunas consideraciones específicas. Las evaluaciones consideras son de Diseño, de
Consistencia y Resultados, de Procesos, de Impacto, Específicas, Complementarias, de
Fondos de Aportaciones Federales y Complementarias de otros órdenes de gobierno.
La sección de Evaluación de Políticas Públicas es nueva y conforma una de las
principales aportaciones del PAE 2020. Tal como se revisó en la Lección 16, en esta sec-
ción se consideran las evaluaciones estratégicas y de políticas públicas con enfoques trans-
versales. Con esta sección se materializa el esfuerzo de muchos años para asentar los
cimientos de una evaluación integral en donde se consideren los distintos esfuerzos que se
están realizando a través de diversas intervenciones públicas que contribuyen al abati-
miento de determinado problema o necesidad no atendida de la sociedad.
En el Uso de la información del desempeño se promueve que la información es-
tratégica generada sea empleada para la toma de decisiones y se establecen los funda-
mentos para la generación de los Aspectos Susceptibles de Mejora (ASM) derivados de las
recomendaciones y hallazgos que se presenta en informes y evaluaciones externas. Al igual
que la información obtenida por medio de las evaluaciones de desempeño, los ASM son
información pública que se debe transparentar.
La sección de Consideraciones Finales está conformada por cinco partes: accio-
nes extraordinarias derivadas de la emergencia sanitaria, Fichas de Información Básica,
evaluaciones en PAE anteriores y casos no previstos. En la primera se establecen las me-
didas extraordinarias derivadas de la emergencia sanitaria generada por el virus SARS-
CoV2 (COVID-19), la cual ha impactado negativamente en todo el quehacer público de las
administraciones públicas federales y locales durante 2020. En los casos en los que una
dependencia o entidad encargada de realizar una evaluación considere que no cumple con
las condiciones adecuadas o que no existe la disponibilidad presupuestaria total o parcial
para realizar el ejercicio evaluativo, se deberá notificar a su respectiva instancia coordina-
dora quien se pronunciará sobre la posibilidad de llevar a cabo la evaluación. Es importante
destacar que estas medidas también aplican para las evaluaciones establecidas en versio-
nes anteriores del PAE.
Como su nombre lo indica, en el Cronograma de Ejecución se marcan los plazos
o fechas límites de entregas a las instancias de coordinación correspondientes. En Transi-
torios podemos encontrar la entrada en vigor del PAE 2020 el cual corresponde al 29 de
abril de dicho año. Finalmente cabe mencionar que las evaluaciones que se deberán llevar
a cabo y el tipo de evaluación a realizarse se encuentran descritos en los anexos del PAE.
En el ámbito federal, la evaluación de los programas y políticas públicas sigue un
proceso general basado principalmente en lo que establecen los Lineamientos (2007), y en
los diferentes PAE de cada ejercicio. Sin embargo, este proceso sigue básicamente las
directrices que se describen en la Figura 17.3.

9
Figura 17.3 Directrices del proceso general de evaluación
Fuente: elaboración propia.
Si bien la determinación de evaluar un Programa o política pública puede surgir

desde el PAE del ejercicio fiscal en curso, su origen también pueden ser las necesidades
propias de la dependencia o entidad responsable. Para las evaluaciones de este último
caso es importante definir lo que se quiere medir, las razones por las cuales se quiere llevar
a cabo esa medición e identificar los cambios que se pretenden lograr con los hallazgos.

10
Después de este ejercicio, se debe buscar qué tipo de evaluación es la que más me con-
viene de acuerdo con lo revisado en el Módulo II de este Diplomado y con lo establecido en
los Lineamientos. En el siguiente ejemplo se aborda un caso hipotético de un programa de
prevención de la delincuencia que busca determinar el tipo de evaluación que requiere para
caracterizar un problema que los responsables del programa ya tienen identificado.
Ejemplo
Caso hipotético de un programa de prevención de la delincuencia
El Programa Prevención de la Delincuencia en Núcleos Urbanos presenta problemas para

identificar a sus beneficiarios, motivo por el cual desea saber si los trámites que solicita para
otorgar los apoyos son los más adecuados. El identificar lo que está sucediendo con la
entrega de los apoyos les ayudará a los tomadores de decisiones si están correctamente
planteados los requisitos o si existen fallas en el proceso de captura o comunicación en la
ejecución del programa. Para este tipo de inquietudes, la evaluación de Procesos es la más
adecuada.
Fuente: elaboración propia con base en un caso hipotético.
Una vez revisada la estructura general de PAE se cuenta con las herramientas ne-
cesarias para comprender el proceso de definición y contratación de las evaluaciones,
mismo que se describe en la Lección 18.

11
LECCIÓN 18
El proceso de contratación de una
evaluación

12
Lección 18. El proceso de contratación de una evaluación
Después de identificar el tipo de evaluación que se va a llevar a cabo de acuerdo con el

PAE o con las necesidades de información que tiene determinado Programa, se procede a
llevar a cabo el proceso de contratación de la evaluación. Primero que nada, es importante
identificar el presupuesto con el cual se dispone. Por cuestiones éticas y de conflicto de
intereses y para que exista igualdad de oportunidades, las instancias de coordinación, es
decir la SHCP – UED y CONEVAL, no están facultadas para recomendar evaluadores, por
lo que los responsables de los Programas deberán llevar a cabo una investigación de mer-
cado por su cuenta.
Como recomendación se pueden consultar las evaluaciones realizadas en el Portal
de Transparencia Presupuestaria (PTP). En el Anexo 4 de cada una de ellas se encuen-
tran los costos, por lo que se pueden buscar evaluaciones similares a la requerida. Este
Anexo corresponde a los Formatos de Aspectos Relevantes de la Evaluación. En el PTP
están publicadas tanto las evaluaciones sociales como las no sociales de forma indistinta.
Por su parte, en la página oficial del CONEVAL se pueden encontrar las evaluaciones de la
política social en México. Cabe mencionar que estas fichas se comenzaron a generar en
2017 por lo que no están disponibles para las evaluaciones anteriores. A continuación, se
explica la forma para acceder a estos formatos.

1) Ingresar al Portal de Transparencia Presupuestaria: https://www.transparenciapre-
supuestaria.gob.mx/

13
2) En la sección de Programas ingresar al Sistema de Evaluación del Desempeño.
3) Con el cursor ir hasta la parte de “Búsqueda de Evaluaciones” y seleccionar un PAE

de un ejercicio fiscal posterior a 2017. En este ejemplo seleccionaremos del PAE
2018 del Ramo 06 Hacienda y Crédito Público la evaluación de Consistencia y Re-
sultados al Programa de Inclusión Financiera llevado a cabo por Evaluación Socio-
económica de Programas y Proyectos, S.C.

14
4) En el Anexo 4, que es el primer archivo que aparece en la carpeta comprimida se

puede encontrar los costos de la evaluación.
5) En el archivo Formato PI se puede encontrar la posición institucional en la cual se

determina si la evaluación llevada a cabo cumple con los principios de claridad, objetividad
e imparcialidad, consistencia y solidez técnica. En otras evaluaciones el archivo se puede
llamar “posicionamiento institucional”.

15
Ya que se tiene bien definida la relación entre el costo de la evaluación en relación

con el alcance de la misma, se procede a la elaboración de los Términos de Referencia y
se inicia el procedimiento administrativo de contratación.
Elaboración de los Términos de Referencia y procedimiento administrativo de con-

tratación
Tal como se revisó en el Módulo II de este mismo Diplomado, existen diferentes tipos de
evaluaciones que poseen un modelo de Términos de Referencia (TdR) preestablecido que
sirve como guía para contratar evaluaciones. En ocasiones dichos TdR pueden adaptarse
para agregar más temas a investigar o para explorar metodologías adicionales; todo de-
penderá de las necesidades de evaluación que requiera el programa o acción. La intención
de unos TdR prestablecidos son primordialmente tres:
1) Definir una metodología adecuada para obtener los resultados esperados.
2) Estandarizar la forma de presentar los hallazgos lo que permite establecer com-
paraciones de desempeño entre los programas y entre periodos. Esto es muy útil
para observar la evolución de los programas.
3) Que sirvan de guía para realizar el estudio de mercado así como para la contrata-
ción de un servicio de consultoría igual o similar.
En caso de que una dependencia o entidad lleve a cabo una evaluación que se
encuentre en el PAE y a ésta le aplique un modelo de TdR definido, se podrán proponer
adiciones que fortalezcan los resultados y utilidad del ejercicio evaluativo, para lo cual de-
berá solicitar el visto bueno de la instancia de coordinación que corresponda. Para conocer
la estructura de un modelo de TdR, en la Figura 18.1 se resume el contenido del modelo de
TdR de una evaluación en materia de diseño correspondiente a un programa no social.
En las tres primeras partes del modelo de TdR tienen como objetivo el orientar a los
responsables de los Programas para que especifiquen cuáles son los motivos para llevar a
cabo la evaluación en materia de Diseño y para que se especifique la metodología que se
ocupará para realizar la evaluación. En la cuarta parte del modelo se presentan las seccio-
nes que necesariamente deberá tener para cumplir con los requisitos mínimos indispensa-
bles de una evaluación de esta materia. Las últimas tres partes corresponden a las dispo-
siciones generales sobre la entrega de la evaluación, el cronograma de trabajo que se de-
finirá y formatos necesarios para la concretar el proyecto.

16
Figura 18.1 Modelo de TdR de evaluaciones en materia de Diseño
Fuente: elaboración propia con base en el modelo de TdR de evaluaciones en materia de diseño de programas
no sociales.
Seguimiento del Proceso de Evaluación
Uno de los elementos para asegurar la calidad de las evaluaciones es el seguimiento que
le otorgue, en especial, el área de evaluación del desempeño de la dependencia o entidad
a la cual está adscrita el Pp. Si bien el seguimiento de los responsables del Programa es
importante, son los del área de evaluación los que tienen mayor experiencia en esta materia.
A pesar de que algunos de los actores involucrados en una evaluación se han mencionado
desde el Módulo II de este Diplomado, en la Figura 18.2 se presentan aquellos cuya pre-
sencia es imprescindible.

17
Figura 18.2 Principales actores en el Proceso de Evaluación
Los gerentes o tomadores de decisiones de alto nivel son personas que ocupan
diversos puestos como la Dirección General del programa, los encargados del presupuesto,
de tecnologías de la información, de comunicación social o de las áreas correspondientes
dependiendo del tipo de evaluación que se trate. Con respecto a la dirección de evaluación
del desempeño, es importante que ésta sea independiente de la operación del programa.
Muchas veces corresponde a la Dirección General de Programación, Organización y Pre-
supuesto (DGPOP). Finalmente, cabe mencionar que los revisores son actores opcionales
y pueden ser representantes de organismos financieros internacionales tales como el
Banco Mundial, el Programa de las Naciones Unidas para el Desarrollo (PNUD), el Fondo
Monetario Internacional (FMI), entre otros.
El seguimiento del proceso de evaluación debe darse desde el comienzo, es decir,
después de haber asignado el contrato de la evaluación. Sin embargo, esto dependerá en
gran medida de lo que se haya estipulado en los TdR, el tipo de evaluación y del tiempo
con el que se cuente. Los principales factores a los cuales se les debe dar seguimiento se
describen en la Figura 18.3.

18
Figura 18.3 Factores del Proceso de evaluación a los que se les da seguimiento
La principal herramienta de seguimiento del proceso de evaluación son las reunio-

nes entre los actores involucrados en el proyecto. Se recomienda que en cada reunión se
firme una lista de asistencia para ir documentando la revisión. En algunas ocasiones por la
naturaleza de los temas tratados se propone realizar minutas de las reuniones para que el
proceso de documentación sea más sólido. A continuación se describe cómo se considera
el seguimiento más idóneo, el cual constituye una recomendación de la SHCP-UED en su
papel de instancia coordinadora.

19
Primera reunión
La intención de esta primera reunión es que todas las partes conozcan qué hace cada
uno de ellos, así como el alcance de la evaluación. En ésta se hace la presentación de los
actores involucrados señalando cuál es el rol que desempeñan dentro de la evaluación. El
equipo evaluador debe presentar los objetivos de la evaluación, la forma como los abordará
y de preferencia que se presente el cronograma de actividades. Por su parte los responsa-
bles del Programa o de la “acción evaluada” exponen a los evaluadores el Fin y Propósito
considerados en la MIR; la población potencial, objetivo y atendida; y los apoyos otorgados
en los casos en los que aplique. Para los programas no sociales o que no entreguen apoyos
a la población objetivo se recomienda presentar el área de enfoque atendida y los productos
entregados entendidos como los bienes o servicios que conforman los Componentes de su
MIR. Se puede invitar a la instancia coordinadora, aunque su participación no es necesaria
en esta etapa.
Segunda reunión:
Comúnmente en esta segunda reunión se lleva a cabo después de que se entregó el

primer producto de la Evaluación y tiene como objetivo el comentar los detalles sobre el
mismo. La idea es transmitir las observaciones que las áreas revisoras hicieron, haciendo
énfasis únicamente en los comentarios más importantes de forma y de fondo. Tal como se
mencionó en las Lecciones anteriores, los comentarios hechos por los responsables del
Programa o por la dirección de evaluación del desempeño de la dependencia o entidad
pueden o no ser atendidos por los evaluadores. Por esta razón es importante que dichos
comentarios estén debidamente justificados.
La totalidad de los comentarios se entregan por oficio anexando un documento Word
para que sean atendidos de la misma forma, se sugiere que la entrega sea antes de la
emisión del segundo producto o de la fecha límite del primer pago contra entrega a satis-
facción. Adicional a lo anterior, esta es la oportunidad para abrir el espacio para aclarar
dudas que tuviera el equipo evaluador sobre la operación o información del Programa eva-
luado.
Tercera reunión:
Aquí se analiza el segundo entregable. En el mismo tenor de la segunda reunión, se

busca tratar solamente los comentarios más significativos, crear un dialogo para aclarar las
inquietudes, pero sobre todo, analizar los hallazgos que seguramente han comenzado a
presentarse. Es muy importante que el equipo evaluador empiece a perfilar las recomenda-
ciones y que las comente con los demás actores para que conozca cuáles son las condi-
ciones que posee el Programa para implementarlas. Algunas veces, las ideas de los eva-
luadores ya han sido tratadas de desarrollarse, pero por diversos motivos culturales o de
normatividad estos no pueden aplicarse. De igual forma que la reunión anterior los comen-
tarios deben ser entregados por oficio, solicitando la respuesta antes de la siguiente entrega
o del pago a entera satisfacción.

20
Cuarta reunión:
En este momento ya se tiene la primera versión del Informe Final de Evaluación y el

equipo evaluador ya cuenta con el análisis FODA. Además de comunicar las nuevas obser-
vaciones y entregarlas por oficio, se debe exponer qué hallazgos son los que se consideran
medulares y qué recomendaciones podrían ser las más aptas para atenderlos. La idea es
que en esta reunión se perfilen las recomendaciones que podrían ser más factibles de aten-
derse y sobre todo, conseguir los cambios más significativos para mejorar el desempeño
del Programa o acción.
En esta etapa, las áreas revisoras, deben cuidar que no se pierda la imparcialidad
del equipo evaluador, pues la intención de compartir las propuestas de cambio del equipo
evaluador es crear un dialogo, donde cada uno de los actores conozca el límite o contexto
del otro. Si después de esta reunión se tiene el Informe Final de la evaluación se puede dar
por terminadas las reuniones de revisión. De lo contrario, estás pueden ocurrir tanto como
sea necesario y como el contrato lo permita (por eso se debe estipular en los TdR que los
evaluadores deben asistir a cuanta reunión sea solicitada).
Quinta reunión (sumamente deseable y recomendable):
Se ha observado que cuando el propio equipo evaluador difunde los hallazgos y reco-
mendaciones a todo el personal del Programa o acción evaluado, el uso de la evaluación
aumenta y por ende los cambios que se esperan lograr. Por lo que, las áreas encargadas
de la evaluación, deben calcular bien los tiempos de ejecución y revisión para que sea
posible que los propios evaluadores expliquen en qué consistió la evaluación, qué evidencia
encontraron y cómo sugieren mejorar las cosas.
Integración del informe de Evaluación
El éxito de una evaluación puede determinarse en la medida en que sus resultados sean
utilizados por los diversos interesados en los programas y políticas públicas evaluadas.
Para ello, el Informe Final de una Evaluación resulta fundamental. Éste ayuda a comprender
el contexto metodológico y operativo en que se realizó el ejercicio, da certeza respecto de
la validez de los hallazgos, así como sobre la pertinencia de las recomendaciones efectua-
das. En la Figura 18.4 se presentan los elementos que deben estar presente en los Informes
de Evaluación realizados en el marco del SED federal. Es importante no olvidar que los
elementos específicos para cada tipo de evaluación se encuentran en los TdR correspon-
dientes.

21
Figura 18.4 Elementos del Informe Final de Evaluación
En la introducción se presentan los motivos por los cuales se llevó a cabo la eva-
luación que, como se revisó previamente, generalmente son tres:
1) Motivos de índole normativo, por ejemplo, porque así lo establece el PAE del
año correspondiente.
2) Por la inquietud de la UR para responder determinadas preguntas de investiga-
ción para mejorar algún componente del Pp.
3) Derivado de un acuerdo llevado a cabo con un organismo internacional de finan-
ciamiento.
En la introducción también se describe la estructura de la evaluación con el fin de
otorgar un panorama del alcance y los elementos que conforman el informe.
En el índice se enlistan todos los capítulos y anexos que conforman la evaluación,
esto para ubicar fácilmente en qué página se encuentran. Dependiendo del tipo de evalua-
ción y de la cantidad de gráficos y diagramas que contenga, se sugiere incorporar un índice
de tablas y gráficas. De igual forma, si la evaluación maneja una gran cantidad de siglas y
acrónimos, lo más conveniente es describirlos desde el principio.
En los antecedentes se busca dotar de un contexto de la evaluación al público en
general. Cabe recordar que las evaluaciones deben ser públicas, por lo tanto, se requiere
ofrecer los elementos mínimos para que cualquier lector entienda el ambiente en el que
se desenvuelve el Programa evaluado. Por ejemplo se debe mencionar la dependencia o
entidad a la que está adscrita la UR que lo opera, cuándo se creó, si proviene de alguna
fusión de programas, cuáles fueron los motivos para realizarlo y en qué marco normativo
se ubica la operación.
Como objetivo general se debe describir la razón de ser de la evaluación, así como
su alcance. También es importante expresar la acción a llevar a cabo, por lo tanto, debe
iniciar con un verbo, después se debe señalar el fenómeno a analizar delimitando hasta
dónde llegará. Con respecto a los objetivos específicos, se debe enunciar los puntos par-
ticulares que se buscan diseccionar en una evaluación, es decir, identificar lo que se desea
lograr para probar cada hipótesis de investigación. Es importante no confundir los objetivos
particulares con las tareas a seguir, por ejemplo, crear una base de datos, la cual es una
labor necesaria para cualquier investigación. De igual forma que en el objetivo general, se
requiere iniciar con una acción o verbo.

22
La metodología es una de las partes medulares de la evaluación, debido a que

expone el método o los métodos así como los criterios con los cuales se analizará la infor-
mación. Cabe recordar que existen dos grandes tipos de metodologías, la cuantitativa y la
cualitativa, las cuales no son excluyentes; solamente es necesario fijar claramente los lími-
tes. Explicar con qué método se pretende examinar al programa evaluado es crítico para
realizar las conclusiones, ya que de esto dependerá lo que se pueda aseverar y generalizar.
Por ejemplo, con una evaluación cualitativa es muy probable que no sea posible generalizar
o mencionar que “todos los beneficiarios” opinan algo debido a que los datos provienen de
una muestra no representativa.
El informe de resultados conforma el cuerpo de la investigación y depende del tipo
de evaluación que se elija. En la evaluación en materia de Diseño, de Consistencia y Re-
sultados, y de Procesos, los TdR correspondientes a cada uno de ellos determinan de forma
explícita qué capítulos o temas se deben de desarrollar; sin embargo, para las evaluaciones
donde no existe unos TdR predeterminados, dependerá de la estructura que el equipo eva-
luador o la UR prefiera para presentar el Informe. Se sugiere visitar el portal de Transpa-
rencia Presupuestaria, específicamente el apartado de Evaluaciones y revisar como refe-
rencia, la estructura de informes similares a los que se pretende realizar.
La sección de hallazgos y conclusiones pareciera ser la más fácil, sin embargo,
es la que conlleva el trabajo intelectual más arduo. En esta se deben presentar los resulta-
dos de la evaluación de forma sintética haciendo uso de un lenguaje sencillo tratando de
ser asertivos considerando el contexto del programa. En la Figura 18.5 se presentan las
principales diferencias entre hallazgos y conclusiones.
Figura 18.5 Diferencia entre hallazgo y conclusión
Por ejemplo, no se puede considerar un hallazgo cuando en una consulta médica

después de realizarse ciertos estudios clínicos el especialista determina que un paciente
tiene diabetes. Considerando datos adicionales como la edad, los antecedentes familiares,
los hábitos alimenticios y el tipo de trabajo que desempeña, el médico llega a ciertas con-
clusiones y con base en estas plantea una recomendación que implica una mejora en los
hábitos alimenticios complementándolo con un tratamiento de insulina inyectada.
Partiendo de este ejemplo cotidiano, se sugiere que el evaluador siempre mencione
primero el hallazgo y que con base en este llegue a la conclusión y sus recomendaciones.
Aquí es importante enfatizar que de los hallazgos y recomendaciones las UR elaborarán
los Aspectos Susceptibles de Mejora (ASM) que es un tema que se revisará más adelante
en la siguiente Lección.
De igual forma que el Informe de resultados o el cuerpo de la investigación, los
anexos dependerán del tipo de evaluación seleccionada. La razón de ser de los anexos es

23
presentar el detalle de ciertos análisis evitando la saturación de un informe con tablas, mo-
delos matemáticos o diagramas que fueron estudiados para llegar a las conclusiones.
También dentro de los anexos, se debe incluir la base de datos, con la información
de campo o de gabinete generadas para el análisis, así como los algoritmos de análisis (do
file o syntax) con los cuales se puede llegar a los mismos resultados que presenta el equipo
evaluador. Para mayor información se puede consultar el numeral 28 Lineamientos (2007).
Entre los anexos que se deben entregar junto con el Informe Final, destaca el Anexo
Cuatro que corresponde al Formato de Aspectos Relevantes de la Evaluación. Este es un
formato mandatado en el PAE del año correspondiente, en el numeral 28 de los Lineamien-
tos y en el artículo 110 de la Ley Federal de Presupuesto y Responsabilidad Hacendaria
(LFPRH). La idea de este Formato es comunicar de forma ejecutiva los principales hallaz-
gos y conclusiones y presentar los datos más importantes del programa evaluado, el costo
de la evaluación, el proceso de contratación, el nombre del coordinador y del equipo de
evaluación. Se recomienda que el Formato no abarque más de dos cuartillas para que fun-
cione como una ficha ejecutiva.
Acompañando al Informe Final los evaluadores deben entregar un Resumen Eje-
cutivo en el cual se sinteticen los puntos más relevantes de la evaluación. Este documento
será una herramienta muy útil para la difusión del trabajo llevado a cabo. En la Figura 18.6
se presentan los principales puntos que el Resumen Ejecutivo deberá tener.
Figura 18.6 Principales elementos del Resumen Ejecutivo

24
Con respecto a su extensión se recomienda que no sea mayor a tres cuartillas y que
se haga uso de distintos recursos de edición editorial como texto resaltado en negritas,
viñetas y diferentes márgenes con la intención de que la lectura sea ágil. El propósito de
este formato es captar la atención del lector, de manera que encuentre interesante el con-
tenido y, por lo tanto, se motive a continuar la lectura del informe detallado. Es indispensable
que el resumen ejecutivo sea totalmente congruente con la estructura y contenido del in-
forme.
Posición Institucional y publicación del informe
La Posición Institucional es el instrumento para hacer efectivo el derecho de réplica.

El programa evaluado hace un pronunciamiento sobre la utilidad de la evaluación y sobre
la pertinencia y factibilidad de las recomendaciones que se le hacen en el Informe. La idea
detrás es que los responsables del Programa, el área de evaluación del desempeño y la
instancia de coordinación correspondiente puedan expresar su opinión sobre la evaluación,
especialmente sobre la calidad de la misma. Además éstos expresan su interés en reco-
mendar o no al equipo evaluador. Es importante recordar que esta experiencia puede ser
retomada por otro Programa presupuestario para contratar o no a un evaluador. Los ele-
mentos que se consideran para emitir la Posición Institucional se presentan en la Figura
18.7.
Figura 18.7 Elementos que conforman la Posición Institucional
La claridad en el lenguaje utilizado implica que las ideas, descripciones, respues-

tas, hallazgos, argumentos y valoraciones que quedan asentados en los textos que confor-
man la evaluación deben ser redactados de manera inteligible, evidente y de fácil compren-
sión, considerando reglas básicas de semántica, ortografía y gramática. Debe reservarse
el carácter técnico del lenguaje cuando esto sea requerido pero privilegiando el uso de
términos que puedan ser comprendidos por diversas audiencias.

25
La objetividad en las valoraciones emitidas implica que se persevere la neutrali-

dad e imparcialidad de las valoraciones o juicios de valor hechos en la evaluación. Toda
valoración deberá estar sustentada en los atributos presentes o ausentes (fortalezas o de-
bilidades) que tenga el Pp. Es importante tomar en cuenta que el principio de que las eva-
luaciones sean llevadas a cabo por entes externos al Programa y a la dependencia o enti-
dad a la cual se encuentra adscrito, es para garantizar la objetividad de las valoraciones.
Con la consistencia en los argumentos empleados se garantiza la coherencia,
conexión o relación lógica que hay entre las diferentes ideas, descripciones, respuestas,
hallazgos, argumentos y valoraciones de la evaluación. Entre otros elementos, se deberán
evitar contradicciones en la evaluación o valoraciones contradictorias, disímiles o heterogé-
neas sobre un mismo elemento del Pp.
El informe final debe reflejar el nivel de dominio técnico aplicado en la evaluación,
en función del tipo de evaluación que se trate y del Pp evaluado. A esto se le conoce como
solidez técnica. Los elementos incorporados en el informe, desde la descripción y análisis
del Pp hasta los hallazgos y recomendaciones, deben ser consistentes con la metodología
de evaluación empleada y con las particularidades técnicas relacionadas con el Pp eva-
luado.
Finalmente, es importante no olvidar que de acuerdo con el PAE del ejercicio fiscal
correspondiente, los numerales 26 y 28 de los Lineamientos y al artículo 110 de la LFPRH,
todas las evaluaciones deben estar publicadas en la página de internet de las dependencias
o entidades correspondientes. Adicionalmente se publicarán en el Portal de Transparencia
Presupuestaria en donde podrán ser consultadas por cualquier persona interesada.
Calidad de las evaluaciones
El proceso de evaluación, como toda investigación científica, implica la generación y análi-

sis de información con el fin de crear conocimiento; en este caso, se busca que sea capaz
de producir un cambio positivo en la política pública, por ende en el bienestar de las perso-
nas. Para lograr buenas evaluaciones que conduzcan a los cambios adecuados, se requiere
que en el Proceso de Evaluación, la información que se utiliza como insumo sea confiable
ya que de esto dependerá parte del éxito en su uso de y por ende en sus resultados.
¿Cómo garantizar que todos los que participan en una investigación utilicen la infor-
mación "correcta" con los conocimientos "correctos" con los métodos "correctos"? La cali-
dad de la evaluación está relacionada con la calidad de los métodos empleados tanto por
los evaluadores como por los servidores públicos. A manera de resumen, para asegurar la
calidad en los métodos es necesario contemplar los atributos descritos en la Figura 18.8.

26
Figura 18.8 Atributos para garantizar la calidad de los métodos
Fuente: elaboración propia con base en Ortega et.al.
En el proceso de evaluación debe haber transparencia en todo momento. Desde la

planeación debe ser claro qué se quiere medir, a quién y cómo se contrata. Durante la
evaluación se debe otorgar información ordenada y completa siguiendo los protocolos de
levantamiento de datos. Finalmente, se debe aludir siempre a la máxima publicidad en el
Informe de Evaluación con especial énfasis en las bases de datos que se generaron inclu-
yendo los algoritmos de análisis (do file o syntax) para replicar lo resultados.
Se espera que los evaluadores respeten los principios de objetividad e imparciali-
dad aislándose de las inercias operativas que tienen los programas o acciones, es decir,
que no se contagien de la misma perspectiva de los operadores. Se busca que sean capa-
ces de identificar las áreas de mejora y las fortalezas como resultado de un ejercicio inde-
pendiente de análisis.
El rigor técnico se entenderá, tal como se revisó previamente, como la implemen-
tación correcta de las metodologías así como de criterios uniformes para tratar toda la in-
formación. Para asegurar que esto suceda un área o entidad externa independiente de la
operación del programa debe revisar los métodos y en su caso replicar los resultados para

27
corroborar la robustez técnica. Todas las dependencias federales tienen un área responsa-
ble de las evaluaciones de desempeño, las cuales son ideales para llevar a cabo este tra-
bajo. Además, existen unidades técnicas especializadas en evaluación en las instancias
coordinadora encargadas de implementar el Sistema de Evaluación del Desempeño (SED).
También es relevante que los operadores clave y tomadores de decisiones corres-
pondientes a los programas participen y se involucren en el proceso de evaluación. Adi-
cionalmente, se espera que todo el equipo evaluador participe activamente en todo el pro-
ceso evitando que solamente el consultor principal asista a las reuniones. Al ser equipos
interdisciplinarios, es importante que cada elemento del equipo evaluador esté presente en
todas las reuniones para que pueda resolver dudas y atender solicitudes de cambio corres-
pondientes a los campos de conocimiento de los cuales son expertos.
La información presentada debe ser confiable y respetuosa de la protección de
datos personales. En el caso de las metodologías cuantitativas tratar de presentar los datos
de forma agregada cuidando la información sensible con la cual se pueda caracterizar a
una persona en específico. En el caso de las metodologías cualitativas es necesario prote-
ger la identidad de los informantes para evitar que sea identificable. Por ejemplo, si se rea-
liza una entrevista o encuesta a una madre joven menor de 15 años en un poblado rural de
200 habitantes, la probabilidad de que sea identificada es alta. Por esta razón es importante
proteger su identidad e información personal sin alterar las bases de datos o documentos
de análisis. El proceso de evaluación debe desarrollarse en estricta observancia de la Ley
Federal de Transparencia y Acceso a la Información Pública Gubernamental (LFTAIPG)
para los programas federales y a la Ley General de Transparencia y Acceso a la Información
Pública (LGTAIP) y la normatividad local aplicable para entidades federativas, municipios y
Demarcaciones Territoriales de la Ciudad de México.
La principal herramienta de retroalimentación y seguimiento son las reuniones y
las revisiones de productos intermedios y finales. El propósito de esto es aclarar dudas o
realizar precisiones buscando siempre el entendimiento respetuoso y objetivo entre todos
los involucrados.
El perfil académico de los evaluadores debe ser consistente con la temática a
evaluar. Es necesario que el coordinador del equipo de evaluación sea un miembro activo
en la investigación, por lo regular es la persona con los conocimientos más aptos para emitir
las recomendaciones de política pública debido a su experiencia, además porque ese perfil
es el que cuenta tiene el mayor peso para contratar la consultoría. En consecuencia, se
debe exponer de manera específica en los Términos de Referencia la formación académica
necesaria y los años de experiencia comprobables.
Es deber de las dependencias o entidades realizar el estudio de mercado o de fac-
tibilidad para corroborar que la contratación de la evaluación se realizará con los recursos
adecuados, es decir, bajo las mejores condiciones disponibles en cuanto a precio, calidad,
financiamiento, oportunidad y demás circunstancias pertinentes a fin de administrar los re-
cursos con eficiencia, eficacia, economía, transparencia, honradez e imparcialidad.
Los Informes de Evaluación deben ser aptos para todo público por lo que siempre
se debe buscar que los evaluadores utilicen un lenguaje ciudadano al momento de redactar
los documentos de la evaluación, evitando en la medida de lo posible el uso de tecnicismos
y aseveraciones sin argumentos. Un buen Informe de Evaluación es capaz de ser entendido
tanto por un estudiante de bachillerato como por un experto en el tema. Esto hará que se
incremente las probabilidades de uso y que se contribuya a un cambio real en la política
pública.

28
Es de suma importancia que si una persona toma un extracto de cualquier parte del
Informe este sea consistente con el inicio o el final del documento de investigación. En
algunas ocasiones el Resumen Ejecutivo, dista mucho del cuerpo de la Evaluación o de las
conclusiones, esto se debe evitar para asegurar la calidad de la información. Finalmente,
es indispensable que exista capacitación constante con el objetivo de fortalecer el capital
humano en las dependencias o entidades así como para fomentar el desarrollo de un mer-
cado competitivo de evaluadores, se debe impartir talleres y seminarios en materia de eva-
luación y monitoreo.

29
LECCIÓN 19
Aspectos Susceptibles de Mejora

30
Lección 19. Aspectos Susceptibles de Mejora
Tal como se revisó en la Lección anterior, una vez que ya se cuenta con el Informe Final de
Evaluación, los responsables del Programa deben comunicar mediante Oficio a su instancia
coordinadora que el proceso ha concluido. Adicionalmente, los responsables del Programa
o el área de evaluación del desempeño de la dependencia en la que se encuentra adscrito
deberán entregarle a la SHCP-UED el Informe Final de todas las evaluaciones realizadas,
incluso cuando éstas no hayan sido hechas bajo la coordinación del CONEVAL. Esto por-
que la UED funge como dependencia concentradora de la información generada en el
marco del SED y como tal incorpora los resultados de las evaluaciones a la estrategia de
información del PbR.
La entrega de esta información se debe llevar a cabo de acuerdo con los Artículos
85, 107, 110 y 111 de la Ley Federal de Presupuesto y Responsabilidad Hacendaria
(LFPRH) en donde se establece que todas las evaluaciones concluidas en conjunto con
el Anexo Cuatro se deberán de reportar en el Informe Trimestral que se le remite al Con-
greso de la Unión. El Anexo Cuatro es muy importante ya que en él se incluye el costo de
la evaluación, y esta información debe ser transparentada. Los informes de las evaluacio-
nes que coordina el CONEVAL también deberán presentarse ante la Comisión de Desarro-
llo Social de la Cámara de Senadores. Lo anterior, no excluye qué ciertos programas o
entidades deban reportar a otras instancias del Gobierno Federal, Estatal o Municipal, se-
gún aplique la normatividad. Por ejemplo, algunos programas deben entregar los Informes
Finales de manera adicional a la Auditoría Superior de la Federación (ASF), otros al Secre-
tario Ejecutivo al que pertenezcan, como es el caso de los programas que deben reportar
al Sistema Nacional de Protección de Niñas, Niños y Adolescentes (SIPINNA), por citar, un
caso.
Aspectos Susceptibles de Mejora
Guillermo Cejudo analiza el uso de la evaluación como el compromiso decidido y la voluntad

de cambio de los responsables de los programas. Concluyendo que “una evaluación que
no genera información relevante para mejorar el contenido o los procesos de una política
pública es probablemente una evaluación sin sentido. Al mismo tiempo, la mera existencia
de recomendaciones puntuales derivadas de una evaluación no significa que serán proce-
sadas adecuadamente por los operadores del programa. Existe una larga serie de obstácu-
los para convertir los resultados de una evaluación en acciones de mejora en los progra-
mas de gobierno” (2011: 13).
Por su parte, Claudia Maldonado, apunta que “la evaluación como instrumento de
mejora requiere una combinación favorable de condiciones materiales e intangibles para
llegar a buen término. Entre las condiciones materiales se encuentra, las facultades expre-
sas y la capacidad de decisión. Entre los factores intangibles está el liderazgo y el compro-
miso de los actores con el sentido último de la función evaluativa: la agregación de valor
público y la rendición de cuentas orientada a resultados” (2011: 68).

31
Con el fin de que las recomendaciones y hallazgos de las evaluaciones del desem-
peño se atiendan, el SED generó el Mecanismo para el seguimiento de los aspectos sus-
ceptibles de mejora derivados de informes y evaluaciones a los Programas presupuestarios
de la Administración Pública Federal (Mecanismo). Éste tiene como objetivo que los res-
ponsables del diseño y operación de los Pp utilicen los hallazgos más relevantes de las
evaluaciones para identificar sus Aspectos Susceptibles de Mejora (ASM), como elementos
guía para la incorporación de modificaciones graduales para el mejoramiento de los progra-
mas (CONEVAL, 2018). Es hasta que los hallazgos y recomendaciones se convierten en
ASM que se puede considerar como concluido el proceso de evaluación.
Los ASM se pueden entender como los hallazgos, debilidades, oportunidades y
amenazas identificadas en la evaluación externa, las cuales deben ser atendidas para la
mejora de los programas con base en las recomendaciones y sugerencias señaladas por
el evaluador externo a fin de contribuir en la optimización del desempeño de los Pp y de las
políticas públicas. Con el objetivo de establecer un proceso para dar seguimiento a los ASM
y articular los resultados de las evaluaciones externas a los Pp en el marco del SED, la
SHCP-UED, la Secretaría de la Función Pública1 y el CONEVAL publicaron en octubre de
2008 la primera versión del Mecanismo, el cual se ha actualizado en dos ocasiones, siendo
la última en marzo de 2011 aún vigente.
El proceso de definición y suscripción de los ASM
Para dar cumplimiento a lo establecido por la normatividad correspondiente, las UR

de los Pp deberán crear los ASM a partir de las recomendaciones y hallazgos puntualizados
en la evaluación. Para lograrlo deberán revisar la evaluación, elaborar el documento de
posición institucional, clasificar y definir cada uno de los ASM, llevar a cabo la captura en el
Sistema de Seguimiento de los ASM (SSAS), emitir el documento correspondiente y repor-
tar los avances en el cumplimento del ASM. En la Figura 19.1 se presenta este proceso.
Figura 19.1 Proceso de definición y suscripción de los ASM
Fuente: elaboración propia con base en el Mecanismo (2011).
1 Es importante señalar que originalmente la Secretaría de la Función Pública (SFP) se consideraba una ins-
tancia coordinadora por lo que participo en la elaboración del mecanismo 2011. Fue hasta 2015 que con base
en el Decreto por el que se reforman y adicionan diversas disposiciones de la Ley General de Contabilidad
Gubernamental y de la Ley Federal de Presupuesto y Responsabilidad Hacendaria publicado en el Diario Oficial
de la Federación el 30 de diciembre de 2015, se establece en el artículo Sexto Transitorio del mismo, que los
trámites que se hayan iniciado ante la SFP en materia del Sistema de Evaluación del Desempeño serán con-
cluidos por la SHCP, por lo que en este Informe se consideran exclusivamente a la SHCP y al CONEVAL como
instancias coordinadoras del seguimiento a los ASM.

32
Revisión de la Evaluación
Una vez que se concluye la evaluación y que la instancia de coordinación correspondiente

la valida, los responsables del Programa evaluado proceden a llevar a cabo un análisis de
todas las recomendaciones y hallazgos incluidos en el Informe Final y a seleccionar aque-
llas que se conformarán como ASM. Es importante que para su atención se agrupen en un
solo ASM las recomendaciones y hallazgos que abordan una misma temática y que se
definan las particularidades en las acciones que se implementarán para la atención del
mismo. Una vez concluida la revisión de la evaluación se procederá a la elaboración del
documento de posición institucional de los ASM o documento de opinión de la dependencia.
Elaboración del documento de posición institucional de los ASM
Para la formalización de las recomendaciones y hallazgos que serán atendidos, las depen-
dencias y entidades elaboran un documento de posición institucional o documento de opi-
nión que es aquel mediante el cual la dependencia y/o entidad refleja la opinión fundada y
motivada respecto de los hallazgos y recomendaciones derivadas de las evaluaciones ex-
ternas. El documento deberá contener los elementos descritos en la Figura 19.2.
Figura 19.2 Elementos que debe tener el documento de posición institucional de los ASM2
Cabe mencionar que, de acuerdo con el Mecanismo, todas recomendaciones y ha-

llazgos deben ser atendidos, sin embargo, pueden existir algunos que tienen limitaciones
para implementarse. En estos casos se declara como no procedente por no adecuarse a
las características del Programa y al contexto en el que éste se lleva a cabo. A partir de
2020, para determinar si una recomendación o hallazgo procede o no, y para realizar un
análisis puntual de las recomendaciones, se debe llenar el Anexo G el cual es un formato
adicional al Documento de opinión
También vale la pena enfatizar que la insuficiencia presupuestaria no es una justifi-
cación válida para no realizar la transición de una recomendación o hallazgo a un ASM. En
el siguiente ejemplo se presenta un caso de rechazo de una recomendación emitida en una
evaluación hecha a un programa hipotético.
2El Fundamento como elemento de la posición institucional es un apartado instituido desde la UED pero que
no está contemplado en el mecanismo.

33
Ejemplo de rechazo de una recomendación o hallazgo
En la evaluación de diseño que se le hizo a un Pp hipotético, el evaluador concluyó que

existe una falla en la normativa que le da sustento al Programa por lo que recomienda hacer
un ajuste específico en el Artículo 24, Fracción III de “la Ley” vigente. En este caso, la
recomendación sobrepasa las facultades de la UR ya que los responsables no tienen la
capacidad de hacerle cambios a la ley. Por este motivo, se decide declararla como no pro-
cedente por no ser adecuada al contexto del programa y al alcance de la Unidad y porque
es imposible plantear una alternativa a la modificación de la normatividad.
Fuente: elaboración propia con base en un caso hipotético.
Clasificación y definición de los ASM
Para clasificar y definir adecuadamente los ASM a continuación se describen las principales
acciones que se deben llevar a cabo. Primeramente, se deben identificar en los hallazgos
y recomendaciones entregados por el evaluador al menos uno de los criterios descritos en
la Figura 19.3. Lo deseable es que cuenten con los cuatro, pero en términos prácticos, uno
es suficiente.
Figura 19.3 Criterios para la conformación de los ASM
Cabe mencionar que en esta clasificación solo se considerarán las recomendacio-

nes o hallazgos que se aceptaron cabalmente o con alternativas. Todos aquellos que fueron
rechazados deberán ser omitidos. En segunda instancia, la suscripción de los ASM depen-
derá en gran medida del tipo de actores involucrados en su atención. Esta tipología se
describe en la Figura 19.4.

34
Figura 19.4 Tipos de Aspectos Susceptibles de Mejora
Por otra parte, dependiendo del impacto de la recomendación o hallazgo identificado

se debe establecer el tema al cual contribuye el cumplimiento del ASM en la mejora del
desempeño del Pp tal como se presenta en la Figura 19.5. La instancia que determinará el
tema del ASM será la propia UR ya que es la que domina el contenido del Pp.

35
Figura 19.5 Tema al cual contribuye el cumplimiento del ASM
Posteriormente es importante llevar a cabo la clasificación en la cual se distingue el

ASM de acuerdo con la acción que realiza para mejorar el programa. Esta clasificación se
describe en la Figura 19.6.

36
Figura 19.6 Clasificación de los ASM de acuerdo el tipo de mejora
Para dar mayor enfoque a la implementación y cumplimiento de los ASM se debe

definir la prioridad de atención, siendo las opciones: alto, medio o bajo. Debido a la gran
diversidad de temas y tipos de Pp es importante considerar que no existe una temporalidad
específica para atender los ASM. Por esta razón, son las mismas UR las que establecerán
los plazos para la implementación de acciones de mejora. Sin embargo, es preferible que
los ASM se atiendan en el corto plazo entendiendo como tal de abril del ejercicio fiscal en
curso a marzo del siguiente año.
Finalmente, el último de los aspectos más relevantes que se debe considerar al cla-
sificar y definir un ASM es la descripción de las acciones que se llevarán a cabo para aten-
derlos. La construcción de esta descripción deberá hacerse a manera de objetivo por lo que
siempre deberá iniciar con un verbo en infinitivo y considerar el periodo de atención.

37
Suscripción en el Sistema de Seguimiento de los ASM
La información que se debe suscribir y los avances de los aspectos a mejorar están defini-
dos en el Mecanismo, así como registro en el SSAS, el cual es administrado por CONEVAL.
A pesar de que el CONEVAL es coordinador solo de los programas sociales, los programas
no sociales coordinados por la SHCP – UED también hacen uso de este mismo Sistema.
Una vez que se carga el documento de opinión en el SSAS y se completa el formulario con
la caracterización de los ASM se generan los documentos para su seguimiento.
Seguimiento de los ASM
Tal como se explicó previamente, el seguimiento a la atención de los ASM se lleva a cabo
dependiendo del tipo de actores involucrados y de eso dependerá la emisión de documen-
tos de seguimiento tal como se describe en la Figura 19.7.
Figura 19.7 Emisión de documentos de seguimiento de ASM
Después de la emisión de los documentos de trabajo e institucional, existen unos

documentos de avance que en los que se presenta el progreso en la implementación de
los ASM suscritos. Éstos siempre deben estar acompañados por documentación probatoria
cuando el ASM presente un nivel de avance del 100%. Los documentos de avance se pre-
sentan en los meses de septiembre y marzo hasta la conclusión de la aplicación del ASM.
Los ASM interinstitucionales e intergubernamentales no emiten documento de se-
guimiento por lo que llevan a cabo el proceso de forma distinta. En el caso de los programas
sociales, los ASM son enviados a la Comisión Intersecretarial de Desarrollo Social y a la
Comisión Nacional de Desarrollo Social para designar responsables y acciones de solución.
Para los programas no sociales la SHCP-UED implementó el Anexo F del Mecanismo para
que las UR suscriban los avances en la aplicación de los ASM. Cabe mencionar que el
Anexo F no es parte original del Mecanismo, sino que es una herramienta creada posterior-
mente para facilitar el seguimiento de los ASM de los programas no sociales.

38
Tener un mecanismo de seguimiento a la evaluación de programas se justifica, en

la medida que la información que se genera sea incorporada en la toma de decisiones en
materia de planeación y presupuestarias. Debido a que la información de desempeño puede
ser extensa, es necesario desarrollar una estrategia eficaz para la presentación de estas
grandes cantidades de datos en forma clara y analítica, es decir, uno de los mayores retos
es sistematizar la información para que pueda ser utilizada en la toma de decisiones.
Los administradores de los programas, así como los tomadores de decisiones deben
revisar la información de desempeño de forma rutinaria y estratégica. La frecuencia de es-
tas revisiones será determinada por el proceso presupuestario, la naturaleza de los objeti-
vos que se está midiendo y el nivel de análisis.
Aspectos Susceptibles de Mejora que derivan de los distintos tipos de evaluación
Si bien cada evaluación es diferente dependiendo del tipo de Programa e incluso del eva-
luador que la lleva a cabo, es posible identificar prácticas frecuentes en los ASM que derivan
de cada uno de los tipos de evaluación. En este caso, de la Figura 19.8 a la 19.11 se revi-
sarán algunos ejemplos de ASM que derivan de las evaluaciones de diseño, procesos, con-
sistencia y resultados y de impacto, las cuales corresponden a los tipos de evaluaciones
revisadas en las Lecciones 12 a 15 de este Diplomado.
Figura 19.8 Tipos de ASM que derivan de las evaluaciones en materia de diseño

39
Figura 19.9 Tipos de ASM que derivan de las evaluaciones de procesos
Figura 19.10 Tipos de ASM que derivan de las evaluaciones de consistencia y resultados
Figura 19.11 Tipos de ASM que derivan de las evaluaciones de impacto

40
A manera de conclusión, es importante destacar que el proceso de evaluación no concluye

con la publicación de los resultados en los medios correspondientes. En dejar el proceso
de evaluación en este punto implicaría desperdiciar información muy valiosa que puede
ayudar a la mejora de la intervención pública de forma que atienda de mejor manera las
necesidades de las poblaciones objetivo o áreas de enfoque.
Figura 19.2 Proceso de evaluación federal
Por esta razón es indispensable que las Unidades Responsables asuman como ASM los
hallazgos y recomendaciones emitidas en las evaluaciones y que les den seguimiento hasta
el final de su implementación. En el momento en el que el último ASM es atendido y repor-
tado por el medio correspondiente, entonces podremos asegurar que el proceso de evalua-
ción concluyó exitosamente.

41
LECCIÓN 20
Seguimiento de la información de
desempeño

42
Lección 20. Seguimiento de la información de desempeño
Con el objeto de aprovechar la información sobre el ejercicio del gasto, la alineación

con la planeación nacional, los resultados de las valoraciones de las MIR, las evaluaciones,
así como los ASM que surgen de éstas, es necesario que se lleve a cabo un seguimiento
puntual de la información de desempeño de los distintos Programas presupuestarios. En
este marco, hasta 2019 se contó con el Modelo Sintético de Información del Desempeño
(MSD) el cual representó una metodología de valoración de resultados que resumía los
avances y logros de los Programas presupuestarios del gasto programable. Para su instru-
mentación se retomaron cinco variables: Ejercicio del Gasto, Indicadores para Resultados,
Plan Anual de Evaluación, Aspectos Susceptibles de Mejora y Padrones de Beneficiarios.
En el Cuadro 20.1 se presentan las variables que originalmente conforman el MSD.
Cuadro 20.1 Variables consideradas en el MSD 2012 – 2018
Fuente: Elaboración propia.
La metodología del MSD se modificó en diversas ocasiones para tratar de capturar

las particularidades de los programas que pertenecen a su universo de análisis, sin em-
bargo, aún en su última versión en 2018, reflejó importantes áreas de mejora que no se
habían logrado solventar, tales como la necesidad de incluir una dimensión relacionada con
el ejercicio del gasto y que la metodología estaba más enfocada a programa sociales. En
el primer caso, si bien es necesario incorporar variables de esta naturaleza para que se

43
pueda medir de manera aproximada la eficiencia del gasto. La principal limitación es que
las asignaciones presupuestarias y sus modificaciones no se encuentran dentro del ámbito
de control directo del programa, por lo que la valoración de esta dimensión subestimaba o
sobrevaloraba a los Pp por factores que en realidad son externos a ellos.
La segunda área de mejora es relevante porque tres de las cinco dimensiones del
MSD son más susceptibles de medir el desempeño de los Pp con enfoque de desarrollo
social, por lo que existía un porcentaje considerable de Pp dentro del universo de análisis
del MSD, que contaban con información disponible únicamente con dos de las cinco dimen-
siones utilizadas para valorar el desempeño. Debido a esto, la estandarización en las valo-
raciones del MSD generaba resultados un tanto imprecisos, que podían llegar a valorar
injustamente a programas no sociales. Derivado de lo anterior, existía la posibilidad de que
los Pp de carácter social y aquellos que contaban con tres o más dimensiones para valorar
su desempeño, tuvieran resultados inferiores en el MSD que aquellos que contaban única-
mente con dos variables, lo cual no reflejaba necesariamente su verdadero nivel de desem-
peño, sino las diferencias entre sus naturalezas.
Con la finalidad de solventar estas limitantes y de contar con resultados de segui-
miento que no estén sesgados por las particularidades de cada programa, se construyó el
Índice de Seguimiento al Desempeño (ISeD) a partir de una metodología que cuenta con
más dimensiones y variables de análisis aplicables a un universo más amplio de Pp. En el
Cuadro 20.2 se presentan las variables consideradas para el ISeD y a continuación se re-
visarán cada una de las Dimensiones que lo conforman.
Cuadro 20.2 Dimensiones y variables consideradas en el ISeD 2019 – 2024

44
En el Diseño se valoran elementos de los Pp como: la existencia de un documento

diagnóstico que justifique su existencia como instrumento de política pública, el adecuado
diseño del Pp, la calidad de la MIR o, en su caso, la relevancia de los indicadores estable-
cidos en la FID, así como la existencia de un documento normativo que regule la operación
del Pp. De este modo, en esta dimensión se evalúa si un Pp ha desarrollado los elementos
mínimos necesarios para contar con un diseño adecuado y junto con la dimensión de resul-
tados, se consideran las más importantes dentro de la estructura del ISeD.
La valoración del desempeño de los Pp en la dimensión de seguimiento considera
variables relacionadas con el cumplimiento de metas de los indicadores de las MIR que
reflejan los bienes y/o servicios generados y de los indicadores de gestión de las FID; asi-
mismo, se verifica que el cumplimiento de metas de estos indicadores sea congruente con
el cumplimiento de metas de los indicadores de resultados. De esta forma, se busca que
los Pp sean consistentes en el avance de sus medios y resultados esperados. De igual
forma, se añaden al análisis de esta dimensión otras variables que están enfocadas en
valorar la correcta ejecución de los Pp, por ejemplo, si aquellos que entregan bienes y/o
servicios directamente a la población, cuentan con un padrón de beneficiarios, así como
que se alcancen los objetivos de cobertura anual.
Las variables consideradas para la medición de los resultados de los Pp, están re-
lacionadas con el seguimiento de las metas fijadas en los indicadores que dan cuenta del
cumplimiento de sus objetivos, en particular aquellos de nivel propósito, pues en ellos se
plasma el efecto directo que el Pp se propone alcanzar sobre la población de interés. Por
lo anterior, la información en esta dimensión resulta de gran utilidad para que los responsa-
bles de la implementación de los Pp puedan decidir con mayor facilidad, si se requiere
alguna adecuación en su diseño o mecanismos de seguimiento, con la intención de que
puedan mantenerse vigentes y continúen atendiendo de manera eficaz la problemática que
les dio origen.
Dado lo anterior, la dimensión de resultados considera, por un lado, variables rela-
cionadas con el cumplimiento de metas de los indicadores de nivel propósito de las MIR y
los indicadores estratégicos de las FID y, por el otro, el análisis cualitativo de las evaluacio-
nes con enfoque de resultados que se han realizado a los Pp, con la finalidad de valorarlos
en función de los resultados que han generado en la población atendida y en la atención
del problema público.
Finalmente, la dimensión de mejora continua valora el compromiso de los Pp por
realizar ejercicios de evaluación y seguimiento que les permitan identificar y atender áreas
de mejora de manera periódica y oportuna. Las variables consideradas en esta dimensión
provienen de distintas etapas del ciclo presupuestario, pues todas ellas buscan incentivar
a los Pp para que continúen realizando acciones para incrementar la eficacia y la eficiencia
en los aspectos más relevantes de su operación, tales como desarrollar ejercicios de dife-
rentes tipos de evaluaciones de manera periódica, atender las recomendaciones realizadas
por los evaluadores externos, así como reportar información de calidad en los informes
trimestrales que realizan los gobiernos locales para el caso de los Pp con gasto federalizado
y de los Fondos de Aportaciones Federales.

45
De esta manera, a pesar de que no todos los Pp cuentan con la totalidad de los
elementos a valorar en el ISeD, si se amplió la base común de dimensiones que aplican a
todos los Pp, lo que permite identificar con mayor claridad el estatus en su diseño, segui-
miento y resultados y, con ello, ofrecer una medición más objetiva y precisa de su desem-
peño que, además, sirva como insumo para su mejora continua. En la Figura 20.1 se resu-
men las principales características del nuevo instrumento de medición.
Figura 20.1 Elementos clave del ISeD 2019 – 2024

46
En el marco de los retos y compromisos asumidos por la presente administración

federal para avanzar hacia una política de austeridad, que al mismo tiempo sea eficiente y
responsable en el manejo de los recursos públicos, el Índice de Seguimiento al Desempeño
se funciona como un instrumento que genera información sintética cuantitativa y cualitativa
del desempeño de Programas presupuestarios (Pp) dirigida a los tomadores de decisiones
que les permite contar con información estratégica con base en los resultados de los Pp
para los procesos de programación y presupuestación. Asimismo, al incorporar un enfoque
de lógica causal y de ciclo de políticas públicas, el ISeD proporciona insumos a los respon-
sables de los Pp para identificar los aspectos que se requieren fortalecer para asegurar el
cumplimiento de sus metas y objetivos.
LECCIÓN 21
Situación de la implementación del
PbR en gobiernos locales

47

DEPP2020

Cargado por

Copyright:

Formatos disponibles

DEPP2020

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

DEPP2020

Cargado por

Copyright:

Formatos disponibles

11

MÓDULO III. LA EVALUACIÓN DEL DESEMPEÑO EN LA PRÁCTICA ........................................... 3

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

MÓDULO III. LA EVALUACIÓN DEL DESEMPEÑO EN LA

Si bien es importante conocer los tipos generales y específicos de evaluación en México y

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

En la Lección 21 se revisarán los fundamentos de la evaluación del desempeño de

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Lección 17. Programa Anual de Evaluación y Coordinación del proceso

El Programa Anual de Evaluación (PAE) es un documento que en cumplimiento con lo es-

Fuente: elaboración propia con base en el PAE 2019.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

atender, en el objetivo que persigue, en su población objetivo o en alguno de sus compo-

Fuente: elaboración propia con base en el PAE 2020.

En la sección de Monitoreo se establecen los criterios para la coordinación de la

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Aportaciones Federales. Finalmente, se mencionan las consideraciones para la difusión de

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Figura 17.3 Directrices del proceso general de evaluación

Fuente: elaboración propia.

Si bien la determinación de evaluar un Programa o política pública puede surgir

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

El Programa Prevención de la Delincuencia en Núcleos Urbanos presenta problemas para

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Lección 18. El proceso de contratación de una evaluación

Después de identificar el tipo de evaluación que se va a llevar a cabo de acuerdo con el

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

2) En la sección de Programas ingresar al Sistema de Evaluación del Desempeño.

3) Con el cursor ir hasta la parte de “Búsqueda de Evaluaciones” y seleccionar un PAE

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

4) En el Anexo 4, que es el primer archivo que aparece en la carpeta comprimida se

5) En el archivo Formato PI se puede encontrar la posición institucional en la cual se

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Ya que se tiene bien definida la relación entre el costo de la evaluación en relación

Elaboración de los Términos de Referencia y procedimiento administrativo de con-

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Figura 18.1 Modelo de TdR de evaluaciones en materia de Diseño

Seguimiento del Proceso de Evaluación

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Figura 18.2 Principales actores en el Proceso de Evaluación

Fuente: elaboración propia.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Fuente: elaboración propia.

La principal herramienta de seguimiento del proceso de evaluación son las reunio-

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Comúnmente en esta segunda reunión se lleva a cabo después de que se entregó el

Aquí se analiza el segundo entregable. En el mismo tenor de la segunda reunión, se

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

En este momento ya se tiene la primera versión del Informe Final de Evaluación y el

Quinta reunión (sumamente deseable y recomendable):

Integración del informe de Evaluación

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Figura 18.4 Elementos del Informe Final de Evaluación

Fuente: elaboración propia.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

La metodología es una de las partes medulares de la evaluación, debido a que

Fuente: elaboración propia.

Por ejemplo, no se puede considerar un hallazgo cuando en una consulta médica