Rbma 02

e avaliação
02
N úm e r o
REVISTA BRASILEIRA DE
Jul-Dez/2011
monitoramento
ARTIGOS
O efeito da condicionalidade
educação do Bolsa Família em Murilo Cássio Xavier Fahel
Minas Gerais: uma avaliação Bruno Cabral França
por meio da PAD/MG Thais Moraes
Avaliação continuada do
Programa de Formação
Interdisciplinar Superior Ana Maria Carneiro
da Unicamp: proposta Cibele Yahn de Andrade
Stella Maria Barberá da

metodológica Silva Telles
Levantamento do Tribunal
de Contas da União sobre os
sistemas de monitoramento
e avaliação da administração Selma Maria Hayakawa
direta do poder executivo Cunha Serpa
Monitorar a prática para

aprimorar o que se aprende:
examinando sistemas
internacionais de M&A
como benchmarking para a Gustavo Guberman
experiência brasileira Glauco Knopp

EDITORIAL 03
ARTIGOS
1. O Efeito da condicionalidade educação
do Bolsa Família em Minas Gerais: uma
avaliação por meio da PAD/MG
Murilo Cássio Xavier Fahel
Bruno Cabral França
Thais Moraes 04
2. Avaliação continuada do Programa de
Formação Interdisciplinar Superior da
Unicamp: proposta metodológica
Ana Maria Carneiro
Cibele Yahn de Andrade
Stella Maria Barberá da Silva Telles 26
3. Levantamento do Tribunal de
Contas da União sobre os sistemas
de monitoramento e avaliação da
administração direta do poder executivo
Selma Maria Hayakawa Cunha Serpa 46
4. Monitorar a prática para aprimorar
o que se aprende: examinando
sistemas internacionais de M&A como
benchmarking para a experiência
brasileira
Gustavo Guberman
Glauco Knopp 76
ENTREVISTA
Michael Bamberger
Por Márcia Paterno Joppert 100
RELATOS DE PESQUISA
1. Indicadores de resultados definindo a
distribuição do ICMS - a experiência do
Ceará
Marcos C. Holanda 106
2. Contribuições da avaliação do
Programa de Formação Continuada
Multicurso para o aprimoramento do
projeto educacional e para a sociedade
Isa Cristina da Rocha Lopes 116
3. Participação e implementação
de políticas públicas diferenciadas:
experiências de avaliação sobre
comunidades quilombolas
Marina Pereira Novo
Júlio César Borges
Rovane Battaglin Schwengber Ritzi
Júnia Valéria Quiroga da Cunha
Cristiane dos Santos Pereira
Alexandro Rodrigues Pinto 138
RESUMOS E RESENHAS 152
PUBLICAÇÕES EM DESTAQUE 160
NOTAS EM M&A 162

Publicação da Rede Brasileira de Monitoramento e Avaliação em parceria com a
Secretaria de Avaliação e Gestão da Avaliação do MDS e Secretaria de Assuntos
Estratégicos da Presidência República (SAE/PR).
Monica Rodrigues, Marcelo Rocha e Kátia Ozório

Coordenação Editorial
Rômulo Paes-Sousa, Paulo Jannuzzi, Márcia Paterno Joppert, Monica Rodrigues,
Ricardo Paes de Barros, Sonia Nahas de Carvalho e Afonso Henriques Borges
Ferreira
Conselho Editorial*
Kátia Ozório
Projeto Gráfico e Diagramação
Thaise dos Santos
Revisão
Tarcísio da Silva
estagiário DE DIAGRAMAÇÃO
Orlando Brito
foto da capa
*Para as duas primeiras edições da Revista Brasileira de Monitoramento e Avaliação foi ins-
tituído um Conselho Editorial provisório para a indicação dos artigos aqui apresentados.
Nas próximas edições da Revista os artigos serão selecionados por um Conselho Editorial
definido pela Rede Brasileira de Monitoramento e Avaliação.
Revista Brasileira de Monitoramento e Avaliação. – N. 2 (2011)- . Brasília, DF: Ministério do

Desenvolvimento Social e Combate à Fome; Secretaria de Avaliação e Gestão da Informa-
ção, 2011- .
180 p. ; 18 cm.
ISSN: 2236 - 5877
1. Política social, Avaliação, Monitoramento, Brasil. 2. Programa Social, Avaliação, Monito-

ramento, Brasil. 3. Políticas públicas, Brasil. I. Ministério do Desenvolvimento Social e Combate à
Fome. Secretaria de Avaliação e Gestão da Informação.
CDU 304(81)
tiragem: 5.000 unidades
© 2011 Ministério do Desenvolvimento Social e Combate à Fome.

Rede Brasileira de Monitoramento e Avaliação
Todos os direitos reservados.
Qualquer parte desta publicação pode ser reproduzida, desde que citada a fonte.
Acesse a versão eletrônica desta publicação em:

http://apl.mds.gov.br/ojs/index.php/RBMA/index
2 Acesse outras publicações da Secretaria de Avaliação e Gestão da Informação

http://www.mds.gov.br/gestaodainformacao
Editorial
A necessidade de dispor de uma publicação técnica Formação Interdisciplinar Superior da Unicamp,
específica para organizar e disseminar pesquisas, apoiado em uma estratégia mix-methods e trian-
práticas e experiências em monitoramento e avalia- gulação de sujeitos para responder demandas de
ção (M&A) em políticas públicas, programas e pro- avaliação de processo, resultados e impactos.
jetos sociais no Brasil, desenvolvidas por técnicos
de instituições públicas e privadas, gestores de pro- Os dois últimos artigos trazem contribuições ori-
gramas, consultores e pesquisadores acadêmicos, ginais em termos de análise institucional dos sis-
foi a principal motivação para a criação da Revista temas de M&A no Brasil e no exterior. Baseada nos
Brasileira de Monitoramento e Avaliação, agora em principais achados de estudo recente do Tribunal
seu segundo número. A Revista procura proporcio- de Contas da União, Selma Serpa discute a prática
nar uma visão plural, integrada e multidisciplinar da efetiva de monitoramento e avaliação de progra-
área de M&A, no contexto de ampliação da produ- mas governamentais nos Ministérios, evidencian-
ção de conhecimento especializado no país e sua do os avanços e, sobretudo, as lacunas e desafios
dispersão dentre diversos periódicos já existentes, da institucionalização do M&A no país. Na mesma
cada um com seu viés disciplinar e sua comunidade perspectiva crítica, Guberman e Knopp abordam
acadêmica almejada. a prática governamental de M&A no Brasil – em
particular a experiência de Minas Gerais – à luz
Perseguindo as diretrizes explicitadas no editorial de experiências internacionais na área, em que
da Revista de lançamento, os artigos e estudos analisam os arranjos institucionais existentes,
apresentados neste número ilustram o esforço de órgãos patrocinadores, as finalidades a que se
reunir contribuições de diferentes naturezas – con- destinam os sistemas de M&A e o uso das infor-
ceitual, metodológica e aplicada – e abordagens mações produzidas.
de pesquisa empírica – análises institucionais,
pesquisas qualitativas, quantitativas, quasi-experi- Além desses artigos, e não menos importantes
mentais, estudos de caso etc. –, além de resenhas para os propósitos mais amplos de disseminação
e registros de memória institucional – na forma de de conhecimentos e práticas em M&A no Brasil, a
ensaios ou entrevistas. Revista traz ainda relatos de pesquisas, resumos
e resenhas de publicações e dissertações, publi-
Inicia-se, assim, a Revista com o artigo de Fahel, cações e lançamentos de destaque no campo,
França e Moraes que analisa, em uma perspectiva notas de registro de eventos importantes na área
quasi-experimental, os efeitos do Programa Bolsa e uma entrevista de Márcia Joppert com Michael
Família sobre a escolarização de crianças e adoles- Bamberger, especialista com mais de 40 anos de
centes de famílias beneficiárias em Minas Gerais, experiência no campo, fazendo um balanço dos
valendo-se dos dados da Pesquisa por Amostra de avanços das práticas avaliativas no Brasil e Amé-
Domicílios realizada pela Fundação João Pinheiro rica Latina e dos desafios de disseminar aborda-
em 2009. Em seguida, trazendo uma contribuição gens multimétodos de avaliação para programas
de natureza conceitual-metodológica no campo da sociais.
avaliação educacional, Carneiro, Andrade e Telles
apresentam o modelo de avaliação do Programa de Boa leitura!
R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011
3
O efeito da
condicionalidade
educação do
Bolsa Família em
Minas Gerais: uma
avaliação por meio
da PAD/MG
Murilo Cássio Xavier Fahel1
Bruno Cabral França2
Thais Moraes3
1 Fundação João Pinheiro/MG.

2 Fundação João Pinheiro/MG e Ministério do Desenvolvimento Social e Combate à Fome.
3 Ministério do Desenvolvimento Social e Combate à Fome.
Os autores agradecem à Fapemig pelo apoio institucional e financeiro, em especial, ao Prof.

victor Maia pelas sugestões metodológicas, e responsabilizam-se, integralmente, pelas análi-
4
ses aqui apresentadas.
Resumo
O presente artigo discute os impactos do Programa Bolsa
Família (PBF) sobre a matrícula escolar dos beneficiários
entre 6 e 17 anos no estado de Minas Gerais. O método uti-
lizado na investigação foi o “Propensity Score Matching”,
que consiste na seleção e comparação de um grupo de
controle e um grupo de tratamento que se diferenciam em
relação às variáveis observáveis apenas no fato de rece-
berem ou não o benefício. A pes-
quisa observou que o PBF de fato
aumenta a matrícula escolar dos
beneficiários, principalmente dos Abstract
adolescentes entre 15 e 17 anos, This article discusses the impacts of Bolsa
dos negros, dos moradores da Família Program (PBF) on school enroll-
área rural e das crianças e jovens ment of beneficiaries between 6 and 17
do sexo masculino - grupos tradi- years old in the state of Minas Gerais.
cionalmente com maiores taxas de The method used in the investigation was
reprovação e abandono. Propensity Score Matching that consists
of selecting and comparing a control
group and a treatment group that differ
with respect to observable variables only
in the fact of receiving the benefit or not.
The survey noted that the PBF actually
increases the enrollment of beneficia-
ries, especially of adolescents between 15
and 17 years, blacks, residents of rural
areas, boys and young men - groups with
traditionally higher rates of repetition
and dropout.
Palavras-chave:
Programa Bolsa Família; Matrícula Escolar; Propensity Score Matching; Minas Gerais

O efeito da condicionalidade educação do Bolsa Família em Minas Gerais: uma avaliação por meio da PAD/MG 5
1. Introdução
Os Programas de Transferência Condicionada —— todas as crianças e adolescentes entre
de Renda (PTCR) consistem na transferência 6 e 17 anos devem estar matriculados
direta de renda a famílias que se encontram na escola, sendo que os de até 15 anos
abaixo da linha de pobreza, exigindo-se des- devem apresentar frequência escolar
tas, em contrapartida, o cumprimento de cer- mensal mínima de 85% e os entre 16
tas condicionalidades, como, por exemplo, a e 17 anos devem ter frequência de, no
mínimo, 75%.
manutenção das crianças na escola. Estes
programas objetivam, em curto prazo, aliviar De acordo com Ministério do Desenvolvi-
a pobreza e, em longo prazo, devido ao cum- mento Social e Combate à Fome (MDS)7, es-
primento das condicionalidades, romper o tas condicionalidades reforçam o acesso a di-
seu ciclo intergeracional. reitos sociais básicos e contribuem para que
as famílias consigam romper, via educação, o
Dentre todos os programas de transferência ciclo de pobreza entre gerações. Entretanto,
condicionada de renda do Brasil, o Programa alguns estudos – que serão apresentados a
Bolsa Família (PBF) é atualmente o maior, be- seguir – questionam vários aspectos dessas
neficiando mais de 11 milhões de famílias em condicionalidades, principalmente os refe-
todo o país (SOARES et al., 2009). O PBF sur- rentes à educação. As questões e observa-
giu em 2003, a partir da unificação de vários ções colocadas pelos pesquisadores vão
programas de transferência de renda, como o desde a baixa focalização de PTCR em rela-
Bolsa Escola, o Bolsa Alimentação, o Auxílio ção à educação, que atinge primordialmente
Gás e o Cartão Alimentação do Fome Zero. aquele grupo (faixa etária de 7 a 14 anos)
Posteriormente, o Programa de Erradicação que já frequenta a escola, até a má quali-
do Trabalho Infantil (PETI) também foi integra- dade das escolas públicas, que dificulta a
do ao Bolsa Família. O PBF é dirigido a famílias apreensão dos conteúdos correspondentes
– registradas no Cadastro Único para Progra- a cada nível de ensino e, consequentemen-
mas Sociais (CadÚnico)4 – que possuem uma te, a alteração – via educação – do quadro de
renda mensal per capita de até R$ 140,00 . O5
pobreza das futuras gerações.
programa possui condicionalidades nas áreas
de educação e de saúde, tais como6: Objetivando contribuir com a discussão, esta
pesquisa propõe analisar o cumprimento
—— acompanhamento do cartão de vacinadas condicionalidades de educação pelos
ção das crianças menores de 7 anos; beneficiários do Programa Bolsa Família em
—— mulheres na faixa de 14 a 44 anos, se Minas Gerais e os seus efeitos sobre a ma-

gestantes ou nutrizes (lactantes), de- trícula e a frequência escolar de crianças e
vem realizar o pré-natal e o acompa- jovens entre 6 e 17 anos, desagregados por
nhamento da sua saúde e do bebê; idade, sexo, raça/etnia e situação censitária.
6
2. A educação no Brasil
e em Minas Gerais
O sistema educacional brasileiro possui uma Na educação básica prevalecem as matrículas
forte contraposição entre quantidade e qua- na rede pública, por volta de 90% do alunado
lidade. O ensino fundamental (EF) caminha (INEP, 2009). Entretanto, a nota média das esco-
em direção à universalização do acesso, já las públicas no Sistema de Avaliação da Educa-
que a taxa líquida de matrícula atualmente 8
ção Básica (SAEB) é bem inferior à das privadas,
é de 91,1% (IBGE, 2010), e o ensino médio “os alunos que terminam o ensino médio na
(EM) encontra-se em grande expansão, com escola pública demonstram, no seu conjunto,
evolução da taxa líquida de 32,7% em 1999 uma proficiência esperada para alunos da oi-
para 50,9% em 2009 (IBGE, 2010). Entretan- tava série” (SOARES, 2004, p.155). Esta falta de
to, quando esses dados são analisados à luz qualidade do ensino contribui para uma expres-
do rendimento mensal familiar dos alunos, siva evasão no sistema público – por volta de
observa-se uma grande desigualdade edu- 4% no ensino fundamental e 12% no ensino
cacional. A taxa líquida de matrícula de jo- médio, em contraposição a 0,1% e 6,2%, res-
vens entre 15 e 17 anos que se encontram pectivamente, nas escolas privadas – e repetên-
no 1º quintil de renda é de apenas 32%, a cia – 12% no ensino fundamental e no ensino
taxa daqueles que se encontram no 5º quin- médio, em contraposição a 3,4% e 6,2% no
til, por sua vez, é de 77,9% (IBGE, 2010). sistema privado (INEP, 2009).
4 O CadÚnico é um instrumento de coleta de dados que tem como objetivo identificar as famílias de baixa renda existentes
no país. Os dados coletados podem ser utilizados pelos governos municipais, estaduais e federal.
5 O valor do benefício varia de acordo com a renda familiar per capita e com a composição do domicílio. Atualmente, famílias
com renda mensal per capita entre R$ 0,00 e R$ 70,00, consideradas em extrema pobreza, recebem uma transferência equivalen-
te a R$ 70,00, independentemente de sua composição. Famílias com renda mensal per capita entre R$70,01 e R$ 140,00 apenas
são elegíveis se tiverem crianças entre 0 e 17 anos e/ou gestante. Para cada criança entre 0 e 15 anos, o benefício é de R$ 32,00,
até o máximo de 3 crianças, e de R$ 38,00 para jovens entre 16 e 17 anos, atendendo no máximo 2 jovens. Os jovens entre 16
e 17 anos começaram a ser beneficiados pelo programa apenas em 2008. Dessa forma, o benefício máximo de uma família é de
R$ 242,00.
6 Com a integração do PETI ao PBF, as famílias beneficiárias do Bolsa Família que tenham crianças em situação de trabalho
infantil passam a ter que cumprir as atividades complementares socioeducativas e de convivência.
7 Objetivos e regulamentos do PBF disponíveis no site do MDS: <http://www.mds.gov.br/programabolsafamilia/ o_progra-

ma_bolsa_familia/o-que-e>. Acesso em: 21 dez. 2010.
8 “Taxa que expressa o número de crianças matriculadas em um nível de ensino, que pertencem ao grupo etário correspon-
dente ao nível de ensino em questão, dividido pela população total do mesmo grupo etário”. Cf. Estatísticas educacionais. Fontes
em educação: guia para jornalistas. Brasília: Fórum Mídia & Educação, 2001. Disponível em: <http://www.inep.gov.br/pesquisa/
thesaurus/thesaurus.asp?te1=31674&te2=147177&te3=1212 53&te4=121331&te5=121332&te6=121080&te7=96654&te
8=102622&te9=149884>. Acesso em: 26 nov. 2009.

O cenário educacional observado no Brasil não A nota média das escolas mineiras no Índice de
diverge muito do caso de Minas Gerais. A taxa Desenvolvimento da Educação Básica (IDEB)9 é
de escolarização líquida para o ensino funda- melhor que a nota geral das escolas brasileiras,
mental é de 93,4% e do ensino médio é de entretanto, ainda está abaixo do desejado (cf.
54,4% (IBGE, 2010). Dos alunos do ensino fun- Tabela 2). Apesar de Minas Gerais estar entre os
damental, 91% estão matriculados em escolas estados com a melhor nota no IDEB, o estado
públicas; no ensino médio, este percentual é de ainda não alcançou a meta. Seis é a meta es-
87,8%. A taxa de reprovação nas escolas públi- tipulada pelo Governo Federal para as escolas
cas no ensino fundamental é de 9% e no ensi- públicas do país. Isso porque, apesar de o IDEB
no médio é de 15%; nas escolas privadas, essas ser um indicador criado para ser utilizado no
taxas são de 3,4% no EF e 7% no EM. A taxa de Brasil, o Ministério da Educação (MEC) calcula
abandono, por sua vez, é de 2% no ensino fun- este índice para outros países da Organização
damental e de 6% no ensino médio do sistema para Cooperação e Desenvolvimento Econô-
público; na rede privada, estes percentuais são mico (OCDE). Neste caso, utiliza-se a taxa de
de 0,1% no EF e de 0,6% no EM (INEP, 2009). aprovação de 97% – média desses países – e
Tanto no Brasil como em Minas Gerais as taxas o desempenho no Programa Internacional de
de evasão e reprovação tendem a aumentar a Avaliação de Alunos (PISA)10. Seis é a média
partir da quinta série, intensificando-se no 1º registrada pelos países da OCDE, nota que se
ano do ensino médio (cf. Tabela 1). tornou referência de qualidade11.
■■ Tabela 1: Taxa de reprovação ■■ Tabela 2: Indicador de

e abandono – Brasil e Minas qualidade do ensino no Brasil e
Gerais – 2009 em Minas Gerais – 2009
Taxa de Avaliação Série avaliada Minas Gerais Brasil
Taxa de evasão
reprovação
Ensino Fundamental
Minas Minas 5,6 4,6
Brasil Brasil - anos iniciais
Gerais Gerais
Ensino Fundamental
IDEB 4,3 4,0
Ano inicial 3.0 1.6 2.1 0.9 - anos finais
1ª série 11.0 1.6 2.6 0.8
Ensino Médio 3,9 3,6
Ensino Fundamental
2ª série 12.8 10.1 2.1 0.7

Fonte: IBGE, 2010.
3ª série 8.7 4.2 2.1 0.9
4ª série 8.7 6.2 2.2 0.9
5ª série 16.5 16.4 5.8 4.7
6ª série 13.6 13.7 5.0 2.7 Apesar de o ensino brasileiro, principalmente

7ª série 11.5 12.0 4.9 5.1 da rede pública, estar muito longe do dese-
8ª série 11.1 13.9 5.2 4.2 jável, observa-se alguns avanços na última
1º ano 17.3 16.8 14.1 11.6 década, em termos de investimento, quali-
Ensino Médio
2º ano 11.3 10.1 10.6 8.9 ficação dos professores, redução na taxa de
3º ano 7.4 8.4 8.4 6.8 analfabetismo e aumento na taxa líquida de
4º ano 3.4 2.0 6.0 8.6
matrícula12.
8 Não seriada 9.2 7.0 13.6 14.2
Fonte: Sinopse Estatística INEP/MEC – 2009.
3. As condicionalidades Os beneficiários são crianças de famílias
muito pobres, que se evadiriam do siste-
do Programa Bolsa ma escolar sem a bolsa mensal, mantendo
Família a mesma baixa escolaridade dos pais e,
consequentemente, no futuro ingressan-
O PBF foi criado com o objetivo de comba-
do no mercado de trabalho, na melhor
ter a pobreza no Brasil. A transferência di-
das hipóteses, nas mesmas condições da
reta de renda visa, em curto prazo, aliviar
maioria de suas famílias. A lógica é elevar
o estado de pobreza das famílias em situ-
o grau de escolaridade das crianças para
ação de vulnerabilidade social, garantindo aumentar e mesmo equilibrar as oportu-
o acesso a uma condição mínima de segu- nidades (AGUIAR & ARAÚJO, 2002, p. 35).
rança alimentar. Por outro lado, nos moldes
do Programa Bolsa Escola, as condicionali- Assim, ao garantir a permanência dessas
dades em relação à escolarização das crian- crianças na escola, o programa supõe que
ças foram pensadas como uma maneira, em elas desenvolveriam habilidades/competên-
longo prazo, de romper o ciclo intergeracio- cias essenciais para a obtenção de trabalhos
nal de pobreza. De que forma ocorreria essa qualificados e mais bem remunerados no
ruptura via educação? O benefício auxilia- mercado de trabalho e, com isso, romperiam
ria na entrada e na permanência na escola o ciclo intergeracional da pobreza. Entretanto,
de crianças em situação de vulnerabilidade alguns pesquisadores chamam atenção para
social, que, sem esse auxílio, tenderiam a questões relativas à concepção e implemen-
evadir da escola e a ocupar, futuramente, tação das condicionalidades do programa.
postos pouco qualificados e mal remunera- Este artigo foca apenas os comentários rela-
dos no mercado de trabalho. tivos às condicionalidades ligadas à educação
9 O IDEB é um indicador da qualidade da educação desenvolvido pelo MEC. Seus valores variam de 1 a 10. Esse índice sinte-
tiza duas dimensões igualmente importantes para a qualidade da educação: aprovação e média de desempenho dos estudantes
em língua portuguesa e matemática. O indicador é calculado a partir dos dados sobre aprovação escolar, obtidos no Censo Esco-
lar, e médias de desempenho nas avaliações do INEP: o SAEB e a Prova Brasil. O objetivo do MEC é que o Brasil alcance a nota 6,
no ensino fundamental, até 2022.
10 O PISA avalia o desempenho de alunos dos países participantes da OCDE na faixa dos 15 anos – idade do término da esco-
laridade básica obrigatória na maioria deles.
11 Informação extraída do site do INEP. Disponível em: <http://portalideb.inep.gov.br/>. Acesso em: 26 abr. 2011.
12 INEP/MEC. Sistema de Estatísticas Educacionais. Disponível em: <http://www.edudatabrasil.inep.gov.br>. Acesso em: 24 abr.
2011.

e seus possíveis efeitos, diretos e indiretos, as- desses. Ao se desagregar por sexo, a diferen-
sim como algumas alterações que o programa ça só é estatisticamente significante no caso
sofreu nos últimos anos e responde – ou ten- dos meninos. Essa pesquisa indica um efeito
tou responder – alguns desses comentários. positivo do PBF sobre a permanência dos be-
neficiários na escola, entretanto, aponta para
Romero e Hermeto (2009) observaram que, uma maior dificuldade dos meninos benefi-
em 2005, os beneficiários de 7 a 14 anos ciários em serem aprovados. Uma das hipó-
evadiam e faltavam menos às aulas que os teses levantadas para explicar esse resultado
não beneficiários – em lugares onde a oferta é a da maior vulnerabilidade dos atendidos
de escolas é menor, esta diferença entre be- pelo PBF. Apesar de o estudo parear benefi-
neficiários e não beneficiários é ainda maior, ciários com não beneficiários (elegíveis ao
como no caso da área rural do Nordeste (cf. programa), aqueles seriam os mais pobres
DUARTE & NETO, 2008) –, entretanto, a pro- entre os pobres, no sentido de estruturas de
porção de beneficiários aprovados era menor vulnerabilidade que estão inseridos, diferen-
que a de não beneficiários. Quando esses da- temente que o mensurado pela renda exclu-
dos são desagregados por sexo e região do sivamente, e que o modelo pode não capitar
país, os valores se alteram. Assim, de manei- pelas variáveis não observáveis. Essa maior
ra geral, 89,73% dos beneficiários não havia vulnerabilidade teria efeitos negativos sobre
faltado nenhum dia de aula no mês de refe- o desempenho escolar. Acredita-se que o re-
rência da Pesquisa de Avaliação de Impacto cebimento do benefício por um tempo maior
do Programa Bolsa Família (AIBF) de 2005 do poderia reverter essa situação.
Centro de Desenvolvimento e Planejamento
Regional da Universidade Federal de Minas Em ambos os indicadores, progressão e re-
Gerais (CEDEPLAR/UFMG); entre os não bene- petência, poderíamos interpretar esta di-
ficiários, apenas 86,01% possuíam a mesma ferença como desfavorável aos beneficiá-
frequência. Todavia, quando se analisam es- rios do Programa Bolsa Família. Entretanto,
há que se ter cautela nesta interpretação,
ses dados de acordo com o sexo, observa-se
pois o simples fato de que estas crianças
que essa diferença na frequência escolar só
beneficiárias do programa estão evadindo
é estatisticamente significante a um nível de
menos, ou seja, permanecendo no sistema
confiança de 95% para as crianças do sexo
escolar de um ano para o outro, pode es-
feminino. Em relação à evasão, apenas 1,05%
tar levando a uma diminuição da aprova-
dos beneficiários abandonou a escola, em ção e ao aumento da reprovação em um
contraposição a 2,12% dos não beneficiários. primeiro momento. O acompanhamento
Quando se desagregam esses dados pelo e a avaliação em pontos subsequentes no
sexo, nota-se que a diferença só é estatisti- tempo podem mostrar evidências diferen-
camente significante para as crianças do sexo tes (BRASIL, 2007, p.14).
masculino. Por sua vez, a proporção de bene-
ficiários aprovados é de 82,81% em contra- Na segunda rodada da Pesquisa AIBF de 2010
posição a 87,33% dos não beneficiários, uma (MDS, 2010), observou-se que o programa
10 diferença de 4,52 pontos percentuais a favor continuou a impactar positivamente a fre-
quência escolar de crianças e jovens entre 6 percentuais superior a dos não beneficiários
e 17 anos (os jovens entre 16 e 17 anos só (72,6%).
foram incluídos no programa em 2008, por
isso não participaram da 1ª rodada da AIBF). Oliveira e Duarte (2005) e Reimers et al. (2006)
A diferença na frequência escolar entre bene- questionam o fato de o Programa Bolsa Família
ficiários e não beneficiários é de 4,4 pontos (assim como quase todos os PTCR na América
percentuais. Na região Nordeste, essa dife- Latina) assumir que a participação dos alunos
rença chega a 11,7 pontos percentuais. Nota- na escola é uma condição suficiente para a
-se um efeito positivo também na aprovação aprendizagem, sem considerar o que realmen-
escolar, os beneficiários têm uma aprovação te acontece no interior da escola, principal-
de 6 pontos percentuais acima dos não bene- mente ao se observar a baixa proficiência dos
ficiários. Entre as meninas de 15 e 17 anos, a estudantes das escolas públicas brasileiras.
diferença se torna ainda maior. Entre as de 15
anos, a diferença é de 19 pontos percentuais Apesar de esses programas, no Brasil, es-
a favor das beneficiárias. Entre as meninas de tarem diretamente associados à educa-
17 anos, essa diferença chega a 28 pontos ção, este aspecto tem sido traduzido so-
percentuais. mente na cobrança da frequência às aulas,
o que pode ser eficaz no sentido de retirar
as crianças das ruas, pelo menos por um
Outra pesquisa, realizada pelo MDS (Secreta-
período do dia, mas não altera o quadro
ria Nacional de Renda de Cidadania, 2010),
de pobreza das futuras gerações, via edu-
utilizando o Educacenso13 e o Sistema de
cação, como foi apontado (OLIVEIRA &
Presença do próprio MEC, observou resulta-
DUARTE, 2005, p. 294).
dos diferentes para crianças de 6 a 14 anos e
para jovens entre 15 e 17 anos. O MEC (2010) Partindo desta mesma constatação, Simon
encontrou uma diferença de 1,8 ponto per- Schwartzman (2009) defende que programas
centual em favor da aprovação dos não be- como o Bolsa Família não deveriam possuir
neficiários entre as crianças de 6 a 14 anos: condicionalidades, deveriam apenas garan-
enquanto 82,3% dos não beneficiários foram tir a transferência de renda àqueles que se
aprovados no ano anterior; entre os benefi- encontram em situação de pobreza, uma
ciários, esse percentual foi de 80,5%. Por vez que estas condicionalidades não estão
outro lado, a aprovação dos beneficiários conjugadas com uma política educacional de
(81,1%) entre 15 e 17 anos foi 8,5 pontos melhoria da qualidade de ensino.
13 O “Educacenso” é uma radiografia detalhada do sistema educacional brasileiro. A ferramenta permite obter dados indi-
vidualizados de cada estudante, professor, turma e escola do país, tanto das redes públicas (federal, estaduais e municipais)
quanto da rede privada. Todo o levantamento é feito pela internet. A partir dos dados do Educacenso, é calculado o Índice
de Desenvolvimento da Educação Básica (Ideb) e planejada a distribuição de recursos para alimentação, transporte escolar
e livros didáticos, entre outros. Fonte: MEC, disponível em: <http://portal.mec.gov.br/index.php?catid=114:sistemas-do-
-mec&id=135:educacenso&option=com_content&view=article>, acessado em dez de 2011.

[...] é equivocada a ideia de que os pro- Obrigatório ou não, o cumprimento des-
blemas da educação brasileira são de de- sas contrapartidas por parte das famí-
manda. Todas as pesquisas mostram que lias que vivem em situação de extrema
a população valoriza muito a educação, vulnerabilidade social e de renda não é
e de fato a permanência das pessoas nas tão simples formalidade e a institucio-
escolas vem aumentando ano a ano, inde- nalidade é mais frágil. Vivem longe das
pendentemente da existência ou não de escolas e dos postos de saúde. Frequen-
bolsa escola ou subsídio semelhante. Os temente vivem além do alcance dos cor-
problemas da educação estão do lado da reios. Supõe-se, portanto, que o Estado
oferta – a má qualidade das escolas pú- deva entrar cumprindo seu dever cons-
blicas, os problemas de recrutamento e titucional de criar condições para que
formação de professores, a ignorância em as famílias façam a parte que lhes cabe
relação aos métodos de ensino mais apro- (SOARES & SÁTYRO, 2009, p.15).
priados, etc. O mesmo pode ser dito em
relação à saúde. Havendo boas escolas e Nota-se uma mudança clara por parte do
serviços de saúde acessíveis, a popula- Estado quanto à cobrança do cumprimento
ção naturalmente buscará estes serviços das condicionalidades. De acordo com o TCU
(SCHWARTZMAN, 2009, p. 3). (2005) e com Sergei e Sátyro (2009 e 2009a),
até setembro de 2006 não havia uma fiscali-
As condicionalidades do PBF estão entre zação efetiva das contrapartidas. A partir de
os pontos mais polêmicos do programa. Há outubro desse mesmo ano, o MDS, o MEC e
aqueles que defendem que as condiciona- o Ministério da Saúde (MS) implementaram
lidades são muito importantes ou até mais um sistema de acompanhamento do cum-
importantes que a própria transferência de primento das condicionalidades, que está
renda, pois são elas que reforçam o direito em constante aperfeiçoamento15. Enquanto,
da criança à educação, ao mesmo tempo em novembro de 2006, apenas 62,8% dos
em que permitem a ruptura do ciclo inter- beneficiários eram fiscalizados em relação
geracional da pobreza. Há uma cobrança ao cumprimento das contrapartidas, em no-
por parte dos que defendem essas condi- vembro de 2009, esse percentual já era de
cionalidades para que o governo fiscalize 89,6% para as crianças entre 6 e 14 anos e
com mais rigor o cumprimento dessas con- de 79,5% para os jovens entre 15 e 17 anos
trapartidas e alguns até sugerem a criação (cf. Gráfico 1).
de outras condicionalidades ou de outros
estímulos14. Por outro lado, há aqueles que A fiscalização do cumprimento das condicio-
acham que o objetivo principal do PBF é o nalidades educacionais é feita pelas secreta-
da proteção social e, ao se cobrar excessi- rias municipais de educação e pelo MEC. Uma
vamente contrapartidas, o objetivo princi- lista gerada pelo CadÚnico com o nome dos
pal se atenua, uma vez que as famílias mais beneficiários e seus respectivos Números de
vulneráveis são, provavelmente, as que te- Informação Social (INS) é repassada pelo MEC
rão mais dificuldades em cumprir contra- às escolas para que as diretoras informem
12 partidas mais rigorosas. às secretarias municipais de educação a fre-
■■ Gráfico 1: Evolução do acompanhamento de
condicionalidades – Brasil, 2006 a 2009
100,0%
89,6%
90,0% 84,7% 84,8%
78,4% 79,5%
80,0%
70,0% 62,8%
60,0%
50,0%
40,0%
30,0%
20,0%
10,0%
0,0%
Nov. de 2006 Nov. de 2007 Nov. de 2008 Nov. de 2009
6 e 15 anos 16 e 17 anos
Fonte: Secretaria Nacional de Renda de Cidadania, 2010. Disponível em: <http://www4.planalto.gov.br/consea/documentos/ transferencia-de-renda/
programa-bolsa-familia-apresentacao-mds>. Acesso em: 12 mar. 2011.
quência escolar dos beneficiários. Essas in- sofrida. Se o motivo for desconhecido ou não
formações são repassadas posteriormente ao justificável, providências são tomadas. De
MEC e ao MDS. Esse processo é realizado bi- acordo com Curralero et al. (2010, p. 151),
mestralmente, com exceção do período de fé-
rias escolares. Junto à frequência escolar vem Do total de 14,3 milhões de crianças e ado-
o motivo da falta, caso ela tenha ocorrido. Se lescentes acompanhados bimestralmente
o motivo for justificável (doença do aluno, pela área de educação, menos de 3%, em
óbito na família, inexistência de oferta do média, apresentam frequência escolar in-
serviço educacional, impedimento de acesso ferior ao estipulado pelo PBF, e deste total,
à escola e inexistência de atendimento para cerca de 70% (atualmente em torno de 300
pessoa com deficiência), nenhuma sanção é mil registros) têm implicação direta em des-
14 Como bônus pelo desempenho escolar.
15 “Em 2006, o MEC construiu e disponibilizou aos estados e municípios o novo sistema de acompanhamento da frequência
escolar do PBF, o Sistema Presença. O novo sistema caracteriza-se pela fácil operacionalização e dispensa o uso de aplicativos,
uma vez que foi construído em plataforma web. Entre as inovações apresentadas, destaque para o acatamento dos registros em
tempo real (on-line) e pela possibilidade que se abriu em descentralizar o registro das informações até a unidade escolar, com
a criação do perfil ‘operador diretor de escola’. O Sistema Presença possui mais de 22 mil usuários cadastrados em todo o país”
(CURRALERO et al., 2010, p.163).

cumprimento para as famílias, ou seja, não permite a identificação das famílias com di-
se referem aos motivos identificados acima. ficuldade em cumprir as condicionalidades
do programa, ao mesmo tempo em que faci-
Caso seja a primeira vez de descumprimen- lita a realização de ações socioassistenciais
to das condicionalidades, a família é apenas junto a elas. Abriu a possibilidade para que
advertida. Se o descumprimento continuar, as famílias, em situação de maior vulnerabili-
a família é novamente avisada e o benefício dade social, não percam o benefício por não
é bloqueado por 30 dias, podendo ser reti- conseguirem cumprir as contrapartidas – pois
rado no mês seguinte. Se a situação continu- o técnico responsável pelo acompanhamen-
ar, o benefício é suspenso após novo aviso, to da família pode optar por interromper as
não podendo ser sacado posteriormente. Se sanções pelo não cumprimento, além de fa-
na quarta avaliação da frequência escolar a cilitar o acesso dessas famílias aos serviços
situação não tiver se regularizado, há uma de assistência social, saúde e educação. As
suspensão do benefício por dois meses e, na famílias do PBF em situação de descumpri-
quinta avaliação – após um ano de descum- mento das condicionalidades são atendidas e
primento das contrapartidas –, o benefício é acompanhadas pelas equipes de assistência
cancelado e repassado a outra família. O que social dos Centros de Referência de Assistên-
se observa na tabela 3 é que, de todas as fa- cia Social (CRAS) e dos Centros de Referência
mílias advertidas até o final de 2008, apenas Especializados de Assistência Social (CREAS)
4,5% chegaram a perder o benefício, “algo por meio do Programa de Atenção Integral à
em torno de 4% das 2,5 milhões de famílias Família (PAIF). A ideia desse acompanhamen-
desligadas por todas as razões até o final de to é diagnosticar as principais necessidades,
2008. No entanto, para quem tem uma visão eleger as intervenções mais efetivas, e acom-
de proteção social do PBF, as medidas to- panhar e avaliar o impacto dessas interven-
madas são draconianas” (SERGEI & SÁTYRO, ções nas famílias.
2009, p.19).
Apesar do avanço do PBF na direção do aten-
Com o aumento da fiscalização, houve o for- dimento especial àquelas famílias que se en-
talecimento do Sistema de Gestão das Con- contram em maior situação de vulnerabilida-
dicionalidades do PBF (SICON). Esse sistema de social, o programa esbarra em problemas
enfrentados pelos CRAS. Apesar da expansão
■■ Tabela 3: Famílias alvos de desses centros pelo país – presentes atual-
avisos ou sanções mente em mais de 80% dos municípios bra-
sileiros –, vários deles contam com a insufi-
Ação Número de famílias Percentual ciência de recursos humanos; de capacitação;
Advertência 2.092.394 100,00% de espaço físico adequado; de recursos finan-
Bloqueio 765.011 36,60% ceiros e materiais, incluindo equipamentos,
1ª Suspensão 339.205 16,20% tais como computador, ventiladores, telefone,
2ª Suspensão 149.439 7,10%
Cancelamento 93.231 4,50%
fax e outros; de acesso à internet e rede de
14 Fonte: Sergei & Sátyro, 2009. informática (TEIXEIRA, 2010; CASTRO, 2008).
Assim, o que grande parte desses trabalhos jovens que pertenciam a famílias com renda
aponta é que, apesar de o PBF aumentar a per- per capita de até R$140,00 (faixa de elegibi-
manência dos beneficiários na escola – que é, lidade do PBF). No total, utilizou-se 4.196 ca-
afinal, o objetivo principal das condicionali- sos do banco de dados.
dades –, principalmente entre aqueles grupos
em que o custo da escolarização é maior (ho- A amostragem da PAD é por domicílios, ou
mens, jovens entre 15 e 17 anos, moradores seja, as informações coletadas sobre os pro-
da área rural), ele possui várias fragilidades gramas sociais se referem à presença ou não
para uma política que se propõe, em longo de algum beneficiário no domicílio. Isto se
prazo, a superar o ciclo intergeracional da po- torna um problema em relação aos domicílios
breza. Por outro lado, observam-se mudanças compostos, onde não é possível identificar
no PBF na tentativa de superação de algumas qual das famílias recebe o benefício. Para fins
das fragilidades apontadas, por exemplo, no deste artigo, foi utilizada uma subamostra da
acompanhamento e direcionamento das fa- PAD, que excluiu estes domicílios, assim como
mílias que apresentam dificuldades em cum- os pensionistas, empregados domésticos e
prir as condicionalidades. seus parentes, uma vez que considerá-los po-
deria superestimar o número de beneficiários
do Bolsa Família. Outro problema está no fato
4. Metodologia da PAD não coletar informação sobre o tempo
O objetivo desse estudo é analisar o impacto que o beneficiário recebe o PBF. A pesquisa
do Programa Bolsa Família na escolarização tem como um de seus objetivos analisar o
dos beneficiários. Para esta análise, foi uti- efeito do PBF sobre o desempenho ou a apro-
lizada a Pesquisa por Amostra de Domicílios vação escolar. Apesar de a PAD ter uma ques-
(PAD) de 200916 do banco de dados da Fun- tão sobre a aprovação no ano anterior, não es-
dação João Pinheiro (FJP) sobre a população pecifica há quanto tempo a família recebe o
de Minas Gerais. Como as condicionalidades benefício, o que inviabiliza essa análise, pois
de educação se estendem apenas às crian- a diferença medida entre beneficiários e não
ças e jovens entre 6 e 17 anos, selecionou-se beneficiários pode não ser resultado do be-
somente aqueles casos que se enquadravam nefício, uma vez que o beneficiário podia não
nesta faixa etária, além de escolher crianças e receber o benefício no ano anterior. Por este
16 A amostra da PAD/MG é composta por 18 mil domicílios, em 308 municípios de Minas Gerais. A amostra é representativa
para os seguintes extratos: zona urbana/rural; região metropolitana/não metropolitana; regiões de planejamento; Belo Hori-
zonte/demais municípios de Minas Gerais e mesorregiões de Minas Gerais. Os dados foram coletados entre junho e novembro
de 2009. As informações da PAD foram agrupadas em oito seções: características do domicílio, características dos moradores,
educação, saúde, trabalho, rendimentos, gastos e juventude.

motivo, será analisado apenas o efeito do PBF váveis apenas no fato de receberem ou não
sobre a matrícula e a frequência escolar17. o PBF. Mediante realização de regressão lo-
gística (cuja variável dependente é se rece-
Para análise dos efeitos do Programa Bolsa be ou não o benefício do PBF), resume-se
Família na trajetória escolar dos beneficiá- um conjunto de características em um esco-
rios será adotado um procedimento de ava- re (pontuação), que reflete a probabilidade
liação ex-post, na medida em que as ações de um indivíduo receber o benefício. Poste-
dos programas já estão concluídas. Ou seja, riormente agrupa-se alguém que recebe o
como as famílias pesquisadas já recebiam tratamento com outro que não recebe, mas
o benefício do PBF, não havia dados para que possua um escore próximo. Existem
uma comparação de como eram suas opor- vários métodos de emparelhamento (agru-
tunidades educacionais anteriormente à pamento) dos indivíduos com base no pro-
entrada no programa. O mais próximo que pensity score. Utilizar-se-ão, neste trabalho,
se chega de uma metodologia experimental os métodos do vizinho mais próximo (nea-
é por meio da comparação dessas famílias rest neighbor), de grupos e estratos (strati-
com outras com características socioeco- fication) e da função de densidade (kernel).
nômicas parecidas. Este método chama-se Optou-se pela utilização dos três métodos
quase-experimental. Nesse caso, a seleção como forma de agregar robustez à análise,
do grupo de comparação e do grupo par- já que cada método computa o efeito médio
ticipante ocorre por meio do pareamento do tratamento sobre os tratados de forma
entre as pessoas que participam do progra- diferente. De acordo com Becker e Ichino
ma (beneficiários) e pessoas que não par- (2002):
ticipam (não beneficiários), mas que teriam
probabilidade semelhante de participar. A —— O método de pareamento a partir de
probabilidade de cada indivíduo partici- estratos e grupos divide os propensity
par é calculada por meio de características scores em blocos, de forma que os in-
observáveis conhecidas por influenciar o divíduos tratados e os de controle pos-
suam o mesmo propensity score médio.
recebimento do PBF e/ou impactar a va-
Em cada bloco, calcula-se a diferença
riável dependente (matrícula e frequência
entre a média da resposta à variável
escolar), tais como: escolaridade dos pais,
dependente dos beneficiários e dos
sexo, raça, renda familiar per capita, etc.
não beneficiários. O ATT18 final será a
Para esta análise ex-post, será realizado o
média do ATT de cada bloco ponderada
Propensity Score Matching. pela porcentagem de indivíduos per-
tencentes ao grupo de tratamento nes-
se bloco. Como principal desvantagem
4.1 PROPENSITY SCORE MATCHING
deste método está a eliminação dos
O Propensity Score Matching (PSM) consiste beneficiários ou não beneficiários que
na seleção e comparação de um grupo de pertençam a blocos que não possuam
controle e um grupo de tratamento que se indivíduos dos dois grupos: de trata-
16 diferenciam em relação às variáveis obser- mento e de controle.
—— Por sua vez, o método de pareamen- com propensity scores mais próximos em
to pelo vizinho mais próximo procura, duplas. Entretanto, é atribuído um peso
para cada observação submetida ao a cada caso de controle inversamente
tratamento, uma observação do grupo proporcional à distância do seu propen-
de controle com o propensity score mais sity score para o do caso de tratamento.
próximo. Após a realização do empa-
relhamento, calcula-se a diferença na 4.2 VARIÁVEIS DEPENDENTES E
resposta das observações de cada um INDEPENDENTES
desses agrupamentos. O ATT final é a
Como se deseja encontrar um grupo de con-
média dessas diferenças. Apesar deste
trole mais próximo possível do grupo de trata-
método não excluir nenhuma observa-
ção, como o método de estratificação, mento, deve-se utilizar o máximo de variáveis
o indivíduo do grupo de controle com que possam caracterizar o beneficiário, pois o
o propensity score mais próximo ao do ideal é que beneficiários e não beneficiários
grupo de tratamento pode não ser tão se diferenciem apenas no fato de um receber
próximo assim. o PBF e o outro não. Por outro lado, a variá-
vel que mensura o impacto sobre a matrícula
—— Por fim, destaca-se o método de pare-
extraído do questionário é “o aluno estava
amento de kernel, que oferece resposta
frequentando a escola no mês de referência
um pouco diferente da do vizinho mais
próximo ao problema da possível dis- da pesquisa? Entretanto, muitas vezes o PSM
tância entre os propensity score de cada exige que você retire algumas variáveis e per-
dupla de observações (de tratados e de ca um pouco do poder explicativo do modelo
controles). Assim como o método do para conseguir o pareamento adequado dos
vizinho mais próximo, o método de pa- casos (sem diferenças estatisticamente signi-
reamento de kernel emparelha os casos ficantes entre tratados e controles).
17 A análise do desempenho escolar dos beneficiários em relação aos não beneficiários está em andamento. Para essa análi-
se, utiliza-se o banco de dados do Sistema Mineiro de Avaliação da Educação Pública (SIMAVE). O SIMAVE é composto por três
avaliações: PROALFA, PROEB e PAAE. O Programa de Avaliação da Alfabetização (PROALFA) verifica os níveis de alfabetização dos
alunos dos anos iniciais do ensino fundamental. O Programa de Avaliação da Rede Pública de Educação Básica (PROEB) avalia as
habilidades e competências dos alunos que se encontram no 5º ano e 9º ano do ensino fundamental e 3º ano do ensino médio
em Língua Portuguesa e Matemática. Por último, o Programa de Avaliação da Aprendizagem Escolar (PAAE) testa os conhecimen-
tos dos alunos do 1º ano do ensino médio da rede estadual em Língua Portuguesa, Matemática, Biologia, Química, Física, História,
Geografia, Inglês e Arte.
18 ATT é uma expressão em inglês (Average Treatment effect for the Treated) que significa o ATT em português como o efeito
médio do tratamento sobre a subpopulação tratada.

As especificações finais dos modelos são • Raça_chefe – foi retirada do modelo
obtidas por meio de várias tentativas, a fim por apresentar alta correlação com a
de se chegar a especificações menos par- raça/etnia da criança;
cimoniosas e que satisfaçam a hipótese do
• Esc_chefe – escolaridade do chefe da
“equilíbrio” (Balancing Hypothesis) entre as
família (foram criadas dummys para en-
variáveis incluídas no modelo. A adoção de
sino médio (ens_médio) e ensino supe-
um modelo menos parcimonioso justifica-
rior (ens_sup), em que 0 = não/1 = sim);
-se pelo fato de que quanto maior o número
de variáveis incluídas, melhor será o parea- • Ocupado – se o chefe da família
mento realizado, já que quanto maior o nú- encontrava-se ocupado profissinal-
mero de características observáveis utiliza- mente no momento da entrevista
das, mais similares serão os indivíduos dos (0 = desocupado/ 1 = ocupado);
grupos de tratamento e controle (RESENDE
• Casado – foi retirada do modelo por
& OLIVEIRA, 2008). Dentre as variáveis sele-
possuir alta correlação com sexo do
cionadas a princípio para compor o modelo
chefe da família.
logístico – que resultou nos escores –, foram
utilizadas apenas vinte, divididas em quatro —— Características do beneficiário: as variá-
blocos. veis deste bloco estão intimamente as-
sociadas ao sucesso e ao fracasso esco-
—— Característica do chefe da família: as va- lar. Observa-se em vários estudos uma
riáveis deste bloco são usualmente utili- feminização da sala de aula, ou seja, as
zadas em pesquisas sobre desigualdade meninas possuem, em média, mais anos
social, uma vez que são estatisticamen- de estudo quando comparadas aos me-
te correlacionadas à vulnerabilidade so- ninos, além de apresentarem taxas me-
cial da família. Famílias mononucleadas nores de repetência (CARVALHO, 2003).
ou chefiadas por mulheres ou por indi- O mesmo pode ser observado no caso
víduos que se autodeclaram negros têm dos indivíduos brancos em relação aos
maior probabilidade de se encontrar em negros (DAYRELL & GOMES, 2008). A
situação de pobreza. Principalmente reprovação, por sua vez, tende a ter um
quando o chefe da família possui baixa efeito desestimulante sobre a criança,
escolaridade, já que o nível educacional favorecendo a evasão (LUZ, 2008), as-
está diretamente correlacionado com a sim como o fato da criança ou jovem
remuneração no mercado de trabalho. O trabalhar.
fato de o chefe da família estar ocupado
• Sexo – 0 = feminino/1 = masculino;
ou não também está diretamente rela-
cionado ao rendimento da família e às • Branco = Raça/etnia (0 = não bran-
suas chances de se encontrar em situa- co/1 = branco);
ção de pobreza.
• Idade – variável quantitativa discreta,
• Sexo_chefe – sexo do chefe da famí-
assume valores finitos;
lia (0 = feminino/1 = masculino);
18
• Idade2 – Idade quadrática; sível do grupo de tratamento (benefi-
ciários), serão utilizadas também outras
• E02 – Trabalhou no mês de referência variáveis que indicam a condição socio-
da pesquisa (1 = não/2 = sim); econômica da família, como condições
de moradia, bens de consumo e acesso
• Filhos – Possui filhos vivos
a serviços básicos.
(0 = não/1 = sim).
• Moradia – A casa é própria?
(0 = não/1 = sim);
Para o modelo de frequência às aulas, utili-
zaram-se outras quatro questões (essas va- • Carro – Possui carros?
riáveis só foram respondidas por quem está
• PC – Possui computadores do tipo
matriculado na escola, com exceção do indi-
desktop ou de mesa?
cador doente):
• Tel – Possui telefone fixo?
• ca16 – É oferecida merenda gratuita
na escola? (0 = não/1 = sim); • Ilum – Possui iluminação elétrica?
(0 = não/1 = sim);
• ca23m – Tempo em minutos do percur-
so de ida à escola (variável contínua); • Esgoto – Essa variável não foi utili-
zada por possuir alta correlação com
• ca27 – Quantos anos tinha quando ini- situação censitária;
ciou a primeira série? (variável discreta);
• Lixo – Essa variável não foi utilizada
• Doente – Procurou ou precisou de por possuir alta correlação com situa-
atendimento médico ou de saúde nos ção censitária;
últimos 30 dias? (0 = não/1 = sim).
• Água – Possui água canalizada?
(1 = sim/2 = não).
—— Condições sociais: estas variáveis dizem
respeito às condições socioeconômicas —— Localização: estas variáveis dizem
dos entrevistados e interferem direta- respeito à região de moradia do en-
mente na probabilidade de um indi- trevistado. Regiões mais urbanizadas
víduo participar do programa ou não. tendem a ter maior oferta de serviços
Poder-se-ia utilizar apenas renda per de educação.
capita, entretanto, esta variável tende
• IDH – O IDH da mesorregião (variável
a ser superestimada por determinados
contínua);
grupos sociais e subestimada por ou-
tros. Para garantir um grupo de controle • Zona – Situação Censitária (0 = ru-
(não beneficiários) o mais próximo pos- ral/1 = urbano).

5. Resultados
A tabela 4 mostra uma diferença estatistica- e aprovação entre o ensino médio e o funda-
mente significante – a um nível de confiança mental. No ensino médio, a taxa de matrícu-
de 99% – entre beneficiários e não benefi- la é menor que no ensino fundamental, e as
ciários na proporção de matriculados na esco- taxas de reprovação e evasão são maiores. O
la. A diferença na proporção de matriculados custo de se manter na escola parece maior
é de 2,1% a 2,6% em favor dos beneficiários. para os adolescentes, que muitas vezes acu-
Esse percentual encontrado em Minas Gerais mulam reprovações, perdem o interesse pela
se aproxima do efeito do PBF para todo o Bra- escola ou não abrem mão de um trabalho de
sil. De acordo com o INEP (2011), o PBF ele- tempo integral. Entre negros e brancos obser-
vou a matrícula dos beneficiários entre 1,8 e 4 va-se uma diferença que persiste há séculos.
pontos percentuais (dependendo do modelo Apesar de os anos de estudo da população
utilizado). Não é surpresa o resultado seme- brasileira ter aumentado de modo geral, a
lhante, visto que, assim como na sociedade diferença entre anos de estudo de brancos e
brasileira como um todo, a realidade mineira negros continua a mesma. Por sua vez, a área
apresenta grandes disparidades regionais e, rural convive com uma oferta menor de es-
por esse motivo, costuma-se dizer que Minas colas e uma infraestrutura pior quando com-
Gerais é um resumo do Brasil. parada com a área urbana. Essas são algumas
das questões que já foram sobejamente tra-
Teoricamente, seria de se esperar efeitos dife- tadas pelos pesquisadores e que nos levou a
renciados do PBF a depender da faixa etária, analisar o efeito do PBF de forma desagrega-
da raça, do sexo ou do local de moradia dos da por faixa etária, sexo, raça/etnia e situação
beneficiários. Dados citados anteriormente censitária. E assim como o esperado, o efeito
apontam para diferentes taxas de frequência do PBF foi maior entre esses extratos mais
atingidos pela reprovação e a evasão.
■■ Tabela 4: Efeito total do

De acordo com a tabela 5, a diferença na ma-
PBF na matrícula escolar de
trícula escolar entre beneficiárias e não bene-
crianças e jovens entre 6 e 17
anos ficiárias não foi estatisticamente significante
a um nível de confiança de 95%. Entretanto,
Erro Trata- Con-
ATT T entre os meninos, uma diferença entre 3,7%
padrão dos trole
Vizinho M.P.(1) * 0.021 0.012 1.692 2138 814 e 4,3% a favor dos beneficiários foi estatisti-
Estratificação*** 0.026 0.009 3.019 2138 1461

camente significante a um nível de confiança
de 99%. O mesmo foi observado em relação
Kernel (2) *** 0.023 0.009 2.628 2138 1461
aos brancos e negros. Não houve diferença
Kernel (3) *** 0.022 0.009 2.407 2138 1461
estatisticamente significante entre beneficiá-
Fonte: Elaboração própria a partir dos dados da PAD/MG, 2009. rios e não beneficiários que se autodeclara-
OBS: (1) Vizinho mais próximo com seleção aleatória; (2) Função de densi- ram brancos; entre os negros, houve diferença
20 dade normal; (3) Função de densidade Epanechnikov.
Estatística t: >1,64 (90%)*; >1,96 (95%)**; >2,37 (99%)***.
entre 3,7% e 4%. Na área urbana, a diferença
■■ Tabela 5: Efeito total do PBF na matrícula escolar – efeitos
diferenciados

ATT Erro padrão T Tratados Controle

Feminino 0.00 - 0.0167 0.009 - 0.015 0.498 - 1.706 1079 422 - 719
Sexo
Masculino 0.037 - 0.043 0.011 - 0.019 1.980 - 3.464 1059 432 - 738
Não branco 0.037 - 0.040 0.010 - 0.016 2.428 - 4.004 1565 549 - 897
Raça/etnia
Branco 0.002 - 0.014 0.014 - 0.019 0.138 - 0.737 568 257 - 563
Rural 0.052 - 0.063 0.019 - 0.032 1.640 - 3.117 579 191 - 278
Situação censitária
Urbano 0.013 - 0.031 0.009 - 0.014 1.291 - 2.240 1554 602 - 1170
Entre 6 e 14 anos 0.018 - 0.027 0.007 - 0.010 2.238 - 2.571 1711 649 - 2080
Idade
Entre 15 e 17 anos 0.058 - 0.084 0.031 - 0.041 1.656 - 2.119 424 175 - 377
Fonte: Elaboração própria a partir dos dados da PAD/MG, 2009.
na matrícula escolar de beneficiários e não be- Pretendeu-se mensurar o efeito do PBF

neficiários encontra-se entre 1,3% e 3,1%. Na sobre a assiduidade às aulas; como variá-
área rural, essa diferença é muito maior, entre vel dependente, optou-se por não utilizar
5,2% e 6,3%. Por último, nota-se uma diferen- uma variável que perguntava se o aluno
ça estatisticamente significante na matrícula faltou ou não ou quantos dias o aluno fal-
escolar de beneficiários e não beneficiários tou; interessava saber se a frequência exi-
entre 6 e 14 anos. Mesmo com a quase univer- gida pelo PBF estava sendo cumprida – de
salização do ensino fundamental, o PBF con- 85% para crianças entre 6 e 15 anos e de
seguiu ter um efeito entre 1,8% e 2,7% sobre 75% para jovens entre 16 e 17 anos –, pois
a matrícula escolar. Entre os jovens de 15 a 17 é um parâmetro de frequência rígido e su-
anos esse efeito é maior e vai de 5,8% a 8,4%. perior ao exigido pelas próprias escolas.

De acordo com as tabelas 6 e 7, não houve ■■ Tabela 6: Efeito total do
diferenças estatisticamente significantes PBF sobre a assiduidade às
na assiduidade às aulas entre beneficiá- aulas de crianças e jovens
rios e não beneficiários 19. entre 6 e 17 anos
Erro Trata- Con-
ATT T
padrão dos trole
Vizinho M.P.(1) - 0.007 0.010 -0.665 1975 746
Estratificação -0.004 0.008 -0.443 1975 1305
Kernel (2) -0.004 0.007 -0.597 1975 1305
Kernel (3) -0.005 0.009 -0.628 1975 1305

OBS:(1) Vizinho mais próximo com seleção aleatória; (2) Função de den-
sidade normal; (3) Função de densidade Epanechnikov.
Estatística t: >1,64 (90%)***; >1,96 (95%)**; >2,37 (99%)*.
■■ Tabela 7: Efeito total do PBF na assiduidade às aulas – efeitos

diferenciados

ATT Erro padrão T Tratados Controle

Feminino (-0.021) – (-0.009) 0.011 - 0.015 (-1.424) - (-0.828) 1004 385 - 659
Sexo
Masculino (-0.009) – 0,001 0.009 - 0.014 (-0.676) – 0,065 971 362 - 643
Não branco (-0.011) - (-0.007) 0.009 - 0.012 (-1.084) - (-0.577) 1450 464 - 782
Raça/etnia
Branco (-0.010) – 0.000 0.011 - 0.017 (-0.546) – (-0.012) 525 244 - 522
Rural (-0.006) - 0.004 0.011 - 0.022 (-0.499) - 0.166 535 159 - 235
Situação
censitária Urbano (-0.017) – (-0.007) 0.009 - 0.012 (-1.436) – (-0.760) 1440 563 - 1052
Entre 6 e 14 anos (-0.007) - 0.009 0.006 - 0.010 (-1.143) - 0.843 1617 591 - 998
Idade
Entre 15 e 17 anos (-0.003) – (-0,019) 0.024 - 0.047 (-0.303) – (-0.116) 355 129 - 292
22
6. Conclusão
Esta pesquisa observou que o PBF de fato Mesmo que as condicionalidades garantam
aumenta a matrícula escolar dos benefi- aos beneficiários um direito constitucional
ciários em Minas Gerais, principalmen- que nem sempre é efetivado – a educação –, a
te dos adolescentes entre 15 e 17 anos, sua cobrança pode e tem levado algumas fa-
dos negros, dos moradores da área rural e mílias, em maior situação de vulnerabilidade,
das crianças e jovens do sexo masculino a perder o benefício, que tem como função
– grupos tradicionalmente com maiores combater a pobreza. Apesar de 99.000 famí-
taxas de reprovação e abandono. Entre- lias desligadas não serem representativas em
tanto, a assiduidade às aulas não sofreu relação a outras 11 milhões que recebem o
alteração significativa. O que este estudo benefício (0,9%), este contingente pode re-
e outros têm mostrado é que o benefício presentar, em média, 300.000 a 400.000 pes-
do Bolsa Família e suas condicionalidades soas que podem ter retornado a uma situação
têm efeito significativo na permanência de insegurança alimentar.
dos beneficiários na escola. Entretanto,
frequentar a escola não garante que o Não é que não existe necessidade de con-
aluno aprenderá os conteúdos ensinados trapartidas, mas deve-se entender que
em sala de aula e conseguirá competir no é exatamente em função do alto grau de

vulnerabilidade social que muitas famílias
mercado de trabalho por empregos mais
não conseguem atender às exigências e,
qualificados e mais bem remunerados. O
portanto, devem ser encontradas formas
que se observa no ensino básico público
de lhes prestar ainda maior assistência so-
no Brasil é que, embora crianças e jovens
cial, e não alijá-las do processo de resgate
frequentem a escola, eles muitas vezes social (SERGEI & SÁTYRO, 2009, pg. 37).
saem do ensino fundamental e médio sem
um bom domínio da leitura e da escrita. Observa-se por parte do governo tentativas
Assim, apesar de o PBF não ser uma pode se construir uma rede de proteção social
lítica educacional e, portanto, não ter a em torno dessas famílias, para evitar que jus-
função de melhorar a educação, mudan- tamente as que estão em maior situação de
ças significativas no sistema de ensino vulnerabilidade social sejam desligadas do
fazem-se necessária para quebrar o ciclo programa. Entretanto, essa iniciativa ainda
intergeracional da pobreza via educação. não tem o alcance desejável.
19 O percentual de beneficiários que não frequentou os 85% – entre 6 e 15 anos – ou os 75% – entre 16 e 17 anos – das aulas
foi de apenas 5,7%. Desses, mais de 50% alegaram que estavam doentes (PAD/MG, 2009).

Referências bibliográficas
AGUIAR, M.; ARAÚJO, C. H. Bolsa-Escola: DUARTE, G. B.; NETO, R. M. S. Avaliando o Impacto do
educação para enfrentar a pobreza. Brasí- Programa Bolsa Família sobre a Freqüência Escolar:
lia: UNESCO, nov. 2002. 152 p. Disponível o Caso da Agricultura Familiar no Nordeste do Bra-
em:<http://unesdoc.unesco.org/images/ sil. In: Encontro Nacional de Economia, ANPEC, 36,
0012/001297/129723m.pdf>. Acesso em: 22 Niterói, 2008. Anais do XXXVI Encontro Nacional
de abril de 2011. de Economia. Disponível em: <http://www.anpec.
org.br/ encontro2008/artigos/200806301113020-
BECKER, S., ICHINO, A. Estimation of average
-pdf>. Acesso em: 20 de dez. de 2010.
treatment effects based on propensity scores.
The Stata Journal, v. 2, n. 4, p. 358-377, 2002. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS
BRASIL. Ministério do Desenvolvimento Social EDUCACIONAIS (INEP). Sinopse estatística 2009.
e Combate à Fome, Secretaria de Avaliação e Brasília, 2009. Disponível em: <http://www.inep.
Gestão da Informação. Avaliação de Impacto gov.br/basica/censo/Escolar/sinopse/sinopse.
do Programa Bolsa Família: sumário executivo. asp>. Acesso em: 23 de dez. de 2010.
Brasília: MDS; Cedeplar. 2007. 20 p. INSTITUTO BRASILEIRO DE GEOGRAFIA e ESTATÍS-
BROOKE, N.; SOARES, J. F. Pesquisa em eficácia TICA (IBGE). Pesquisa Nacional por Amostra de Do-
escolar: origens e trajetórias. Belo Horizonte: micílios (PNAD): Síntese de Indicadores Sociais. Rio
Editora UFMG, 2008. de Janeiro, 2010. Disponível em: <http://www.ibge.
gov.br/home/estatistica/populacao/condicaodevi-
CARVALHO, Marília Pinto de. Sucesso e fracasso da/indicadoresminimos/sinteseindicsociais2010/
escolar: uma questão de gênero. Educ. Pesqui. SIS_2010.pdf>. Acesso em: 12 de abr. de 2011.
[online]. 2003, v. 29, n. 1, p. 185-193.
LUZ, L. S. O impacto da repetência na proficiência
CASTRO, F. J. R. O CRAS nos Planos de Assistência escolar: uma análise longitudinal do desempe-
Social: padronização, descentralização e inte- nho de repetentes em 2002-2003. Belo Hori-
gração. CapacitaSuas, São Paulo: IEE\PUC-SP; zonte: Universidade Federal de Minas Gerais,
Brasília: MDS, v. 3, 2008. 2008. Dissertação (Mestrado em Demografia).
CURRALERO, C. B. et al. As condicionalida- BRASIL. Ministério do Desenvolvimento So-
des do Programa Bolsa Família. In: CASTRO, cial e Combate à Fome (MDS). Nota Técnica nº
J. A. MODESTO, L. (Org.). Bolsa família 2003- 110/2010/DA/SAGI/MDS. Brasília: MDS, 2010.
2010: avanços e desafios. Brasília: Ipea, Disponível em: <http://www.mds.gov.br/sala-
2010. p. 151-173. deimprensa/noticias/2010/agosto/arquivos/
nt-110-2010-sintese-aibf-2a-rodada-educacao-
DAYRELL, Juarez; GOMES, Nilma Lino. Juven-
-e-saude-2.pdf>. Acesso em: 26 de abr. de 2011.
tude no Brasil: questões e desafios. 2008.
mimeo. Disponível em: <http://api.ning.com/ OLIVEIRA, D. A.; DUARTE, A. Política educacional
files/HWLMz-y5imQnWcQGmD1DrYGy* PApk como política social: uma nova regulação da po-
OHi1w55cKssnVqq28fX4NCuVFdhI*YZ68O5U breza. Perspectiva, Florianópolis, v. 23, n. 02, p.
KxSauIXTf-12yfgrhB-xtG9MwBk954 x/Ajuven- 279-301, jul./dez. 2005. Disponível em: <http://
tudenoBrasilquestesedesafios.pdf>.Acesso www.fae.ufmg.br/gestrado/files/artigos/regul-
em: 20 de dez. de 2010. dapobreza.pdf>. Acesso em: 12 de abr. de 2011.
24
REIMERS, F.; SILVA, C. D.; TREVINO, E. Where Is SOARES, J. F. Implementação de cotas na UFMG
The “Education” In Conditional Cash Transfers para alunos egressos de escolas públicas. In:
In Education? UNESCO: Montreal, 2006. Dispo- UNIVERSIDADE E DEMOCRACIA: experiências
nível em: <http://www.uis.unesco.org/TEMPLA- e alternativas para a ampliação do acesso à
TE/pdf/EducGeneral/WP4_Reimers.pdf. Acesso Universidade Pública. Belo Horizonte: Editora
em 7 de setembro de 2010. UFMG, 2004.
RESENDE, Anne Caroline Costa; OLIVEIRA, Ana Ma- SOARES, S.; RIBAS, R. P.; OSÓRIO, R. G. Evaluating
ria Hermeto Camilo de. Avaliando resultados de the Impact of Brazil’s Bolsa Família: Cash Transfer
um programa de transferência de renda: o impacto Programmes in Comparative Perspective. Brasília,
do Bolsa - Escola sobre os gastos das famílias bra- 2007. Disponível em: <http://www.ipc-undp.org/
sileiras. Estud. Econ., São Paulo, v. 38, n. 2, 2008. pub/IPCEvaluationNote1.pdf>. Acesso em: 22 de
dez. de 2010.
ROMERO, J. A. R.; HERMETO, A. M. Avaliação de
Impacto do Programa Bolsa Família sobre In- SOARES, S.; RIBAS, R. P.; SOARES, F. V. Focali-
dicadores Educacionais: uma abordagem de zação e cobertura do Programa Bolsa Família:
regressão descontínua. In: Encontro Nacional qual o significado dos 11 milhões de famílias?.
de Economia, ANPEC, 37, Foz do Iguaçu, 2009. Rio de Janeiro: IPEA, 2009. Disponível em:
Anais do XXXVII Encontro Nacional de Econo- <http://desafios.ipea.gov.br/sites/000/2/pu-
mia. Disponível em: <http://www.anpec.org. blicacoes/tds/td_1396.pdf>. Acesso em: 20 de
br/encontro2009/inscricao.on/arquivos/000- dez. de 2010.
-c1356554aa37dfe2e7daa6708e30ba7d.
doc>. Acesso em: 22 de abril de 2011. SOARES, S.; SÁTYRO, N. O Programa Bolsa Família:
desenho institucional, impactos e possibilida-
SCHWARTZMAN, S. Bolsa Família: mitos e realidades futuras. Brasília: IPEA, 2009. Disponível em:
des. Interesse Nacional, v. 2, n. 7, dez. 2009. p. 20-28. <http://desafios.ipea.gov.br/sites/000/2/publi-
Disponível em: <http://www.schwartzman.org.br/ cacoes/tds/td_1424.pdf>. Acesso em: 23 de dez.
simon/bolsa09.pdf>. Acesso em: 7 de set. de 2010. de 2010.
SECRETARIA NACIONAL DE RENDA E CIDADANIA. TEIXEIRA, S. M. Trabalho Interdisciplinar nos

PROGRAMA BOLSA FAMÍLIA. Conselho Nacional CRAS: um novo enfoque e trato à pobreza?
de Segurança Alimentar e Nutricional, out. Textos & Contextos, Porto Alegre, v. 9, n. 2,
2010. Disponível em: <http://www4.planalto. ago./dez. 2010. Disponível em: <http://revis-
gov.br/consea/documentos/transferencia-de- taseletronicas.pucrs.br/ojs/index.php/fass/
-renda/programa-bolsa-familia- apresentacao- article/viewFile/7032/5781>. Acesso em: 14
-mds>. Acesso em: 15 de abr. de 2011. de abr. de 2011.

Avaliação
continuada do
Programa de
Formação
Interdisciplinar
Superior da
Unicamp:
proposta
metodológica1
Ana Maria Carneiro2
Cibele Yahn de Andrade3
Stella Maria Barberá da Silva Telles4
1 Esta apresentação conta com o apoio da Agência para Formação Profissional da Unicamp (AFPU).
2 núcleo de Estudo de Políticas Públicas (nEPP), unicamp.
26
Resumo
O objetivo do artigo é apresentar a avaliação continuada do Programa de Formação
Interdisciplinar Superior (ProFIS) da Unicamp e discutir seus desafios metodológicos
e operacionais. O Programa busca oferecer um curso de educação geral, com duração
de dois anos, com conhecimentos que vão além daqueles normalmente oferecidos em
formações mais específicas e profissionalizantes, como os cursos regulares de gra-
duação profissional. Além disso, a forma de ingresso dos alunos representa uma no-
vidade para instituição, a partir da seleção dos melhores alunos das escolas públicas.
Desta forma, busca-se atrair para
Unicamp jovens que, em geral, se au- Abstract
toexcluem de seu processo seletivo,
promovendo a inclusão social. This paper sets out to describe the continuous evaluation of Unicamp’s
Interdisciplinary Higher Education Program (ProFIS) and discuss
its methodological and operational challenges. The purpose of the
A proposta é inovadora no campo
ProFIS Program is to provide a two-year general education course
da avaliação da educação superior.
offering knowledge that extends beyond the content of typical
Trata-se da avaliação de um pro-
vocational education programs or other specific programs such
grama específico, abrangendo seu as regular undergraduate courses. In addition, the university has
processo de implementação, seus adopted an innovative intake procedure consisting of the selection of
resultados e impactos, o que colo- the best students from public secondary schools. The idea is to attract
ca desafios de obter e relacionar to Unicamp young people who usually exclude themselves from the
dados obtidos em questionários university entrance procedure, thereby promoting social inclusion
e registros acadêmicos durante and equity in tertiary education.
um prazo longo. É uma avaliação
multidimensional que busca ser The proposed evaluation is innovative in the field of higher educa-
participativa e planejada para ser tion evaluation. It is an evaluation exercise for a specific program
continuada. Como se trata de uma covering its implementation process, results and impacts, thus posing
metodologia de monitoramento e operational challenges with regard to the use of data obtained from
avaliação na etapa de implementa- questionnaires and academic records over a long period (at least
ção do Programa, busca-se, neste six years). It is a multidimensional evaluation exercise, planned to
momento, mais apresentar os desa- be participatory and continuous. Because this is a methodology for
fios metodológicos e operacionais monitoring and evaluating the implementation stage, the current
enfrentados do que já apresentar emphasis is on the methodological and operational challenges to be
resultados. addressed rather than on presenting results.
Palavras-chave:
Avaliação de impactos; Ensino superior; Educação geral

Avaliação continuada do Programa de Formação Interdisciplinar Superior da Unicamp: proposta metodológica 27
Introdução
O objetivo deste artigo é apresentar a pro- para o planejamento de sua continuidade e
posta de avaliação continuada de processo, eventuais ajustes. Desta forma, é necessário
resultados e impactos do Programa de Forma- avaliar se o desenho do Programa é adequa-
ção Interdisciplinar Superior (ProFIS) da Uni- do para os objetivos a que se propõe. Isto
versidade Estadual de Campinas (Unicamp), envolve a avaliação não só no curto prazo,
iniciada junto com a criação do programa, ao fim dos dois primeiros anos do Programa,
e discutir seus desafios metodológicos e mas também no médio e longo prazo, para
operacionais. verificar sua implementação e seus impactos
(WILLINGER, 2010). Neste sentido, a avalia-
O programa busca oferecer um curso piloto ção pretende auxiliar no aperfeiçoamento
de formação geral com conhecimentos que do Programa, na tomada de decisão em vá-
vão além daqueles normalmente oferecidos rios níveis, no aprendizado e na identificação
em formações mais específicas e profissio- das necessidades e dos ajustes necessários
nalizantes. Além disso, a forma de ingresso (PERRIN, 2009).
dos alunos representa uma novidade para a
instituição, a partir da seleção dos melhores Além disso, observa-se uma crescente de-
alunos das escolas públicas por meio das manda por accountability no que se refere ao
notas do Exame Nacional do Ensino Médio uso de recursos públicos. Tal demanda tem
(ENEM). O momento atual é privilegiado para crescido no setor de educação superior, es-
a implementação do monitoramento e avalia- pecialmente quando se leva em conta as re-
ção do Programa. Raramente estes processos centes mudanças no setor, com a passagem
são implementados no início de programas. da universidade de elite em direção à massifi-
Desta forma, é possível traçar a linha de base cação deste nível de ensino por meio do cres-
dos beneficiários, mensurar as variações nos cimento do número de instituições universi-
indicadores selecionados e atribuir a causali- tárias e não universitárias e da emergência do
dade, comparando-se com grupos de compa- setor privado forte (KROTSCH, 2003).
ração. A avaliação desenhada é participativa,
envolvendo seus principais atores, e planeja- O Brasil tem desenvolvido, desde a década de
da para ser continuada, provendo uma base 1990, uma tradição em avaliação em diversos
confiável de informações que auxiliarão na setores de ciência, tecnologia e inovação,
gestão do Programa. como mostram os estudos no tema de edu-
cação superior (LAMARRA, 2007; REZENDE,
A motivação para a avaliação deste Progra- 2010). A bibliografia nacional tem tratado
ma de ensino superior justifica-se por um principalmente da avaliação do sistema de
conjunto de fatores. Em primeiro lugar, trata- ensino superior, especialmente no tema qua-
-se de um programa piloto cuja viabilidade lidade do ensino (DIAS et al., 2006; ROTHEN
deve ser avaliada em termos institucionais e BARREYRO, 2009; BARREYRO e ROTHEN,
28
2009; DIAS SOBRINHO, 2010). Há também a) procura avaliar o processo de implementa-
uma tradição de avaliação institucional, sen- ção do Programa, seus resultados e impactos;
do que a Unicamp realiza este tipo de avalia-
ção desde 1991. b) é multidimensional, pois parte do entendi-
mento de que os resultados e impactos sem-
Outros temas também têm sido objeto da pre ocorrem em múltiplas dimensões e são
pesquisa em avaliação, como a avaliação dos multicausais;
resultados do ensino, uma visão mais micro
do processo que trata dos resultados mais di- c) pode ser implementada “por dentro do
retos do ensino, especialmente do desempe- programa” para servir como instrumento de
nho educacional (KUH e EWELL, 2010; PRØITZ, acompanhamento e planejamento contínuo e
2010; LESKES e WRIGHT, 2005). No Brasil há
poucas experiências neste sentido. Também d) tem sido implementada concomitantemen-
se encontram estudos sobre a avaliação de te ao desenvolvimento do Programa.
impactos do ensino superior, especialmen-
te os econômicos, tanto do ensino superior
Além desta introdução, o texto traz uma
como um todo para a sociedade (SALVATO et
breve apresentação do ProFIS e da meto-
al., 2010; WILLIANS e SWAIL, 2005; PASCA-
dologia de avaliação. As seções posterio-
RELLA e TERENZINI, 2005; CAFFREY e ISAACS,
res procuram discutir os seguintes desafios
1971), quanto do impacto de uma universida-
metodológicos: 1) o caráter participativo da
de ou faculdade (BLUESTONE, 1993; CARR e
metodologia, que busca envolver os princi-
ROESSNER, 2002). Entretanto, mesmo em paí-
pais atores do Programa; 2) a proposta de
ses de grande tradição em avaliação, como os
avaliação continuada que se estabelece
Estados Unidos, ainda há um gap entre pes-
juntamente com a implementação do pro-
quisa e prática (COZZENS, 2010). Desta forma,
grama, 3) o caráter multidimensional e 4) as
a avaliação do ProFIS também se reveste de
dificuldades da atribuição da causalidade
um caráter de pesquisa em avaliação.
neste tipo de avaliação. Ao final são tecidas
algumas considerações finais. O texto pro-
Em resumo, a proposta do ProFIS é inovadora cura mais levantar questões sobre estes de-
no campo da avaliação da educação superior safios do que trazer respostas por se tratar
pelos seguintes fatores: de um processo em construção.

O Programa de Formação um saber integrando os conhecimentos de
uma área específica com os de outras áreas,
Interdisciplinar Superior voltado para compromissos sociais e comu-
(ProFIS) nitários, bem como uma percepção dessas
O ProFIS representa uma inovação na política questões para humanidade.
pública de educação superior. Trata-se de um
programa de educação geral, que representa O ProFIS é um curso sequencial oferecido em
uma tendência global, como mostram iniciati- período integral, em quatro semestres, com
vas de outras universidades brasileiras e ame- disciplinas obrigatórias e eletivas ofertadas
ricanas. Não há uma definição consensual do por várias unidades da universidade. O ob-
termo educação geral, mas, normalmente, este jetivo do ProFIS é possibilitar uma formação
pode ser entendido como a parte comum do geral, de caráter multidisciplinar, que propor-
currículo que é oferecida a todos os estu- cione uma base ampla nas principais áreas
dantes como aspecto prévio e primordial do do conhecimento. Segundo o Projeto Peda-
desenvolvimento intelectual, que os prepara gógico (PRG Unicamp, 2010), seus objetivos
para ações cívicas e para a aquisição das com- específicos são:
petências profissionais, sendo também ne-
cessária para uma vida de contínua aprendi- —— ampliar conhecimentos nas áreas aca-
zagem por oferecer uma formação conceitual, dêmicas desenvolvidas nas Ciências
e não prática utilitarista (PEREIRA, 2007a). A Humanas e Ciências da Natureza, pos-
adoção da proposta de educação geral no en- sibilitando a abordagem de problemas
sino superior tem sido operacionalizada de científicos de modo integrado e a com-
formas diferentes, podendo gerar mudanças preensão da ciência como um modo de
profundas em toda a estrutura da instituição, olhar o mundo;
como uma reforma curricular, ou constituir —— ampliar conhecimentos nas áreas de

um programa paralelo. Artes e Humanidades, incluindo as-
pectos estéticos, possibilitando a par-
Segundo Pereira (2007b), os debates interna- ticipação de forma ativa no processo
cionais têm realçado as preocupações quan- de apreciação e, possivelmente, de
to a um currículo mais integrado e abrangen- criação nessas áreas;
te nos cursos de nível superior. Discute-se —— desenvolver conhecimento dos métodos

que a formação deve ultrapassar os estreitos de pesquisa quantitativos e qualitativos;
caminhos da especialização e permitir uma
—— compreender as relações do conheci-
visão mais ampla de conhecimento univer-
mento com o mundo do trabalho, tendo
sal. Estes princípios, por exemplo, embasam
em vista uma definição mais segura de
a reforma curricular da Universidade de Har-
campo profissional futuro; compreender a
vard e a reforma do Processo de Bologna
si mesmo como indivíduo e como mem-
para universidades da Comunidade Europeia
bro de uma sociedade diversificada, glo-
(LIMA et al., 2008). A intenção é desenvolver balizada e em constante mudança.
30
A grade curricular é composta por 28 disci- tos de cada uma delas. São oferecidas 120
plinas obrigatórias, totalizando 109 créditos, vagas em 61 dos 67 cursos de graduação re-
além de 8 créditos eletivos . 5
gulares da Unicamp. Além disso, o Programa
tem por objetivo auxiliar na seleção da car-
Outra inovação do curso é a forma de ingres- reira profissional a partir do contato com as
so dos alunos na Unicamp sem passar pelo diferentes áreas da universidade.
vestibular, em duas etapas – a entrada no
ProFIS e a entrada nos cursos de graduação
profissionais. O programa piloto selecionou,
Avaliação do ProFIS
no início do ano letivo de 2011, alunos ad- O objetivo geral da proposta de avaliação do
vindos das escolas públicas de ensino mé- ProFIS é desenvolver e implementar metodo-
dio da cidade de Campinas/SP, que se ins- logia para a avaliação continuada do progra-
creveram no final de 2010, utilizando a nota ma piloto, composta por avaliação de proces-
no ENEM, composta pela média das cinco so de implementação do Programa; avaliação
provas realizadas (Linguagens, Matemática, de resultados (concepção do Programa e via-
Ciências da Natureza, Ciências Humanas e bilidade) e avaliação de impactos no médio e
Redação). Desta forma, busca-se atrair para longo prazo.
a Unicamp jovens que se autoexcluem do
processo seletivo, trazendo um caráter de A avaliação do ProFIS, por sua vez, possui três
inclusão social e busca da equidade no en- objetivos principais:
sino superior.
—— avaliar a implementação e viabilidade do
ProFIS como programa de formação geral
Ao final do ProFIS, os alunos podem escolher
para Unicamp;
vagas oferecidas nos cursos regulares da
Unicamp a partir do desempenho acadêmico —— avaliar o impacto do ProFIS na formação
mensurado pelo Coeficiente de Rendimento e trajetória profissional do aluno;
nas disciplinas Obrigatórias (CRO), que é a —— avaliar a alternativa de acesso à Unicamp,
média das notas nas disciplinas obrigatórias tanto no aspecto do processo de seleção
do curso, ponderada pelo número de crédi- quanto da promoção de equidade.
5 Tanto a oferta de disciplinas da grade curricular do ProFIS quanto de vagas nos cursos de graduação regular foram negocia-
das com as unidades de ensino da Unicamp durante o processo de constituição do Programa, em um processo democrático.

A figura 1 a seguir ilustra alguns aspectos que serão avaliados em relação às diversas etapas
do ciclo do Programa.
■■ Figura 1: Níveis de avaliação do ProFIS
Ÿ Engajamento cívico
impactos Ÿ Aumento de renda

Ÿ Ocupação na área de formação
Ÿ Satisfação com o trabalho
Ÿ Desenvolvimento de competências
acadêmicas e cognitivas
resultados Ÿ Conclusão do ProFIS

Ÿ Definição do campo profissional
Ÿ Ingresso em cursos de graduação
Ÿ Disciplinas
processo Ÿ Infraestrutura
Ÿ Bolsas
Ÿ Experiência universitária
■■ Figura 2: Trajetórias possíveis dos inscritos e mecanismos de

atribuição de causalidade na avaliação do ProFIS
professores colegas empregadores
Graduação
Ensino profissional Mundo do
Médio trabalho
Unicamp
ProFIS
Unicamp
32 Família
A figura 2 ilustra as possíveis trajetórias dos é o ingresso em cursos de graduação pro-
alunos que se inscreveram no ProFIS e ajuda fissionais ao final dos dois anos e o pos-
a entender os mecanismos de atribuição da terior ingresso no mercado de trabalho. A
causalidade dos impactos. avaliação pressupõe, então, que o Progra-
ma inclui os dois primeiros anos de forma-
ção geral e o curso de graduação na Uni-
A primeira seleção do ProFIS teve 731 alu-
camp. Isto pode ocorrer eventualmente em
nos inscritos, advindos de 76 escolas pú-
outra IES também. Desta forma, a avaliação
blicas de ensino médio de Campinas/SP,
envolve o acompanhamento da implemen-
que representam 86% destas escolas no
tação do Programa e o acompanhamento
município. Dentre estes alunos, 120 matri-
de seus beneficiários por um período de,
cularam-se no ProFIS, uma parte que não
no mínimo, seis anos (dois anos de ProFIS
conhecia o Programa ingressou diretamen-
+ quatro anos de curso regular de gradua-
te em cursos de graduação profissional (27
ção) para verificar resultados quanto à per-
em cursos da Unicamp), outra pode ter ido
manência e conclusão do ensino superior.
para o mundo do trabalho, ou ter continua-
E para acompanhar os primeiros impactos
do nele, e outra ainda continua estudando
econômicos e na carreira é necessário, no
para entrar no ensino superior ou não trabalha
mínimo, dez anos.
nem estuda.
A trajetória desejada dos matriculados no Além da experiência universitária (e do con-

ProFIS, assinalada em cinza na figura 2, tato com os colegas e professores), estes jo-
Em linhas gerais, o desenho da avaliação é apresentado na figura 3 a seguir.
■■ Figura 3: Passo a passo metodológico da avaliação do ProFIS

Análise dos objetivos
do ProFIS
Definição das fontes
Definição do
Definição e avaliação e mecanismos de
contrafactual
Decomposição em dos indicadores e suas obtenção de dados
termos que se podem métricas e informações
extrair dos objetivos
Transformação dos
termos em temas de
avaliação
Linha de base (questionário inscrição + matrícula)
Estudo de pré-indicadores Avaliação do meio-termo

para qualificar e
mensurar os temas de
avaliação Avaliação de viabilidade/resultados
Avaliação de impactos

vens vivenciam um momento de passagem —— realização da avaliação de impactos do
em suas vidas, da adolescência para a ju- Programa, em momento a ser determi-
ventude e desta para a vida adulta (a me- nado ao fim da conclusão do curso de
diana das idades é 18 anos completos em graduação regular (após a finalização
2011). Desta forma, há outras experiências dos dois anos do ProFIS).
importantes que também impactam suas
Após cada um dos exercícios de avaliação (li-
vidas, desde a experiência familiar e tam-
nha de base, avaliação de resultados e avalia-
bém do mundo do trabalho, que devem ser
ção de impactos), os resultados são novamen-
observadas na avaliação, o que dá caráter
te apresentados ao painel de especialistas e
multicausal à metodologia.
a lista de temas e indicadores passa por nova
revisão. Além destes passos, a metodologia
Os principais passos da metodologia são os
prevê a especificação de um sistema de mo-
seguintes:
nitoramento e estruturação de um banco de
dados para monitoramento do ProFIS.
—— produção de uma caracterização de
conteúdo analítico sobre o ProFIS (pro-
A metodologia utiliza o desenho de quase-ex-
pósitos do Programa, meios utilizados
e categorias de impactos e resultados perimento com a seleção de dois grupos de
esperados); comparação. O primeiro formado por inscritos
no ProFIS com perfil semelhante aos matricu-
—— identificação das dimensões de avalia- lados em termos de desempenho no ENEM, o
ção e seus indicadores a partir da de-
que incluirá: a) inscritos que foram convoca-
composição de termos extraídos dos
dos para matrícula, mas que, por algum mo-
objetivos do Programa;
tivo não se apresentaram e b) inscritos que
—— estudo de pré-indicadores para qualifi- não foram convocados, mas que poderiam ter
car e mensurar os temas de avaliação; sido por suas notas no ENEM em comparação
a outros alunos da mesma escola. O segundo
—— validação dos temas e indicadores em
grupo de comparação é formado por alunos
painéis de especialistas;
matriculados na Unicamp que entraram pelo
—— definição do desenho contrafactual com sistema de vestibular utilizando o Programa
a seleção dos grupos de comparação; de Ação Afirmativa e Inclusão Social (PAAIS)
—— produção da linha de base dos alunos que atribui pontuação adicional a candidatos
e dos grupos de comparação a partir do do concurso vestibular oriundos de escolas
momento da inscrição no Programa; da rede pública e/ou que se autodeclarem
membros de minorias raciais6.
—— realização da avaliação de meio-termo
ao fim do primeiro ano do Programa;
A metodologia de avaliação do ProFIS inspira-
—— realização da avaliação de viabilidade -se na experiência de avaliação de programas
ao fim do segundo ano do Programa; de Ciência, Tecnologia e Inovação do Grupo
34
de Estudos sobre Organização da Pesquisa e de trabalho que formulou a proposta do Pro-
da Inovação (GEOPI), situado no Departamen- grama, à coordenação, à comissão de gradua-
to de Política Científica e Tecnológica (DPCT) ção e aos professores do curso, ao comitê de
do Instituto de Geociências da Unicamp (FUR- orientação da avaliação e a colaboradores de
TADO, 2003; ZACKIEWIZ, 2005; SALLES-FILHO algumas áreas da Unicamp, como a Pró-Reito-
et al., 2010 e 2011; FURTADO et al., 2009). ria de Graduação, o Serviço de Apoio ao Estu-
Alia-se também à larga experiência de con- dante e a Comissão de Vestibular (COMVEST),
dução de pesquisas de avaliação e monitora- além da equipe de pesquisa.
mento do Núcleo de Estudos de Políticas Pú-
blicas (NEPP) da Unicamp (ANDRADE e TELLES, Aos participantes foi solicitado que anali-
2008; COELHO et al., 2008; DRAIBE e RUS PEREZ, sassem a pertinência dos temas seleciona-
1999; RUS PEREZ e STOCO, 2008). dos e seus indicadores, bem como a neces-
sidade de adicionar ou excluir temas. Novos
painéis de especialistas são previstos para
Metodologia participativa a apresentação dos resultados de cada
A metodologia de avaliação do ProFIS, ora exercício de avaliação.
em construção, busca ser participativa, en-
volvendo os principais atores no processo de Os métodos participativos buscam construir
definição do que deve ser avaliado e na cole- um processo baseado na participação ativa na
ta e análise de informações. Isto é operacio- tomada de decisões a todos os que tenham
nalizado pela constituição de um comitê de um interesse em um determinado programa e
orientação da avaliação, que interage com a dão origem a um sentimento de controle so-
equipe de pesquisa numa base regular e tam- bre os resultados e recomendações do moni-
bém pela realização de painéis de validação toramento e avaliação (WORLD BANK, 2004).
da metodologia e de seus resultados. Segundo Zackiewicz (2005), a participação
não significa apenas o envolvimento de di-
São previstos painéis ex-ante e ex-post. O versas pessoas, mas principalmente a nego-
primeiro painel aconteceu em 9 de junho de ciação de diferentes perspectivas, valores e
2011, quando o primeiro conjunto de temas interesses muitas vezes conflitantes, o que
e indicadores foi submetido a especialistas resulta no envolvimento de diferentes atores
em avaliação e em ensino superior, ao grupo e de diferentes interpretações sobre a reali-
6 O PAAIS, instituído em 2004, prevê que estudantes que tenham cursado todo o ensino médio na rede pública brasileira
receberão automaticamente 30 pontos a mais na nota final da segunda fase do vestibular. Candidatos autodeclarados pretos,
pardos e indígenas que tenham cursado o ensino médio em escolas públicas também terão, além dos 30 pontos adicionais,
mais dez pontos acrescidos à nota final. A participação no PAAIS é opcional e deve ser indicada no formulário de inscrição. Mais
informações em: <http://www.comvest.unicamp.br/vest2006/paais.html>.

dade. Desta forma, os resultados da avaliação mesmas pessoas participassem dos vários
têm mais chance de serem compreendidos e painéis.
úteis (SALLES-FILHO, 2010).
O segundo desafio diz respeito à capacidade
Segundo Bach (2010), o caráter participati- de envolver e motivar alunos e professores a
vo favorece a interação entre acadêmicos, responderem vários questionários ao longo
avaliadores, tomadores de decisão e benefi- dos anos para verificar as mudanças em rela-
ciários para melhor entendimento do esco- ção à linha de base, na linha da adicionalidade.
po, relevância e necessidades da avaliação. A
avaliação, segundo este autor, pode ser vista O terceiro desafio é ainda maior e refere-se
como um processo social entre aqueles que à capacidade de envolver e manter contato
estão sendo avaliados, aqueles que são a au- com os grupos de comparação, sendo que
diência da avaliação e aqueles que execu- parte de seus indivíduos não estarão na
tam a avaliação. Para o primeiro grupo, são Unicamp e poderão não se interessar em
importantes os aspectos de justificação e participar da avaliação, especialmente ao
legitimação da avaliação, o aprendizado no longo dos anos.
nível operacional e os ganhos de novos su-
portes. Para o segundo grupo, é importante Para enfrentar estes desafios, será necessá-
a accountability, a alocação de recursos e o rio estruturar uma equipe que, dentre ou-
aprendizado no nível das políticas públicas. tras funções, deverá manter o contato com
Já o terceiro grupo costuma ter mais inte- o público da avaliação e contar com apoio
resse acadêmicos e metodológicos, ou de institucional forte.
aperfeiçoar serviços de consultoria.
A participação na avaliação também implica Avaliação continuada e

a utilização de uma combinação de métodos criação da metodologia
multidisciplinares quantitativos e qualitati-
simultaneamente à
vos. Esta necessidade se fortalece ao se levar
em conta o caráter de complexidade dos ob-
implementação do
jetos que são avaliados (BACH, 2010). Programa
A avaliação do ProFIS é construída ao mes-
Neste aspecto, há pelo menos três desa- mo tempo em que o Programa é implemen-
fios operacionais. O primeiro diz respeito tado. Além disso, é programada para ser
à capacidade de envolver os atores consi- continuada, o que implica a conjugação de
derados relevantes na concepção da me- alguns métodos, incluindo monitoramento
todologia e especificação e revisão dos e avaliação de impactos, e sua institucio-
temas e indicadores de avaliação, levan- nalização. Este é considerado o desenho
do-se em conta a dificuldade em se con- ideal para a avaliação de programas, pois é
seguir agenda com estes atores e a longa possível monitorar o seu desenvolvimento
36 duração da avaliação. O ideal seria que as de acordo com os objetivos e indicadores
previamente definidos. Também é mais fá- As duas partes da metodologia complemen-
cil traçar a linha de base dos beneficiários e tam-se. O lado do monitoramento ajuda a
grupos de comparação, sem a necessidade identificar questões para a avaliação mais
de ter que reconstruir os caminhos que o profunda e também é uma de suas fontes
programa tomou para avaliar seus resulta- de informação. Além disso, a avaliação pode
dos e impactos. identificar o que deve ser monitorado no fu-
turo (PERRIN, 2009).
Neste desenho é mais fácil ter acesso aos da-
dos necessários. Além disso, em geral, esse Entretanto, este desenho coloca novos de-
tipo de avaliação pode ser realizada por uma safios. O primeiro é assegurar que a ava-
equipe interna, com consulta a especialis- liação acontecerá numa base programada
tas internos em momentos determinados, o e com recursos adequados. O segundo é
que torna seu custo menor do que o de ava- manter a estabilidade do sistema de ava-
liações de impacto pontuais, especialmente liação (BACH, 2010), o que aponta a ne-
aquelas realizadas anos após a implemen- cessidade de revisão periódica dos temas
tação do programa. e indicadores bem como dos instrumentos
de coleta de dados à medida que o progra-
Do lado do monitoramento, há a geração de ma avaliado evolui e se transforma, além
dados rotineiros, como registros acadêmi- da necessidade de manutenção das séries
cos, obtidos internamente na instituição, e históricas.
o acompanhamento da adequação das ativi-
dades, objetivos e um pequeno número de O terceiro desafio é mais operacional, re-
indicadores do programa. Esta parte da ava- lacionado com a dificuldade de integrar
liação não consegue indicar a causalidade, dados de vários sistemas de informação
o que fica a cargo da parte dos exercícios da universidade com os coletados pela
de avaliação realizados de forma periódica avaliação. E também constituir uma me-
(linha de base, resultados e impactos). Além todologia confiável, não muito cara, com
disso, a avaliação ajuda a apoiar a orienta- exercícios executados de forma rápida
ção futura do programa, podendo se focar e que consiga acompanhar a mudança
nos impactos, identificando os “esperados” de objetivos do programa a ser avaliado
e os “não esperados”. (SALLES-FILHO, 2010).

Metodologia 3. Impactos econômicos e na carreira:
refere-se à caracterização dos impactos
multidimensional econômicos decorrentes da realização
Como apresentado, a metodologia é plane- do ensino superior via ProFIS e ao de-
jada para ser multidimensional, abarcando senvolvimento da carreira;
as dimensões que representam mudanças
4. Gestão do Programa: refere-se ao
na vida dos beneficiários provocadas pela monitoramento da implementação e
experiência universitária, além da dimen- operação do ProFIS.
são de gestão do Programa.
Estas dimensões foram definidas a partir
Segundo Dias Sobrinho (2008), a educação dos objetivos do Programa, que busca ofe-
superior é um instrumento de aprofunda- recer, além da formação cultural e científica,
mento e fortalecimento da autonomia pes- a preparação para a escolha da área especí-
soal, da emancipação e da cidadania. Esta é fica de formação acadêmica e profissional. O
uma de suas competências mais requisitadas, Programa visa alcançar os principais desafios
ainda que não seja exclusiva. A formação, em apresentados à universidade contemporânea
sentido pleno como preconizado pela educa- – formar jovens dotados de cultura ampla e
ção geral, vai muito além, como a capacidade espírito científico, capazes de realizar julga-
de longo termo de se adaptar às mudanças no mentos críticos e independentes e prepara-
mundo do trabalho, mais do que do mercado dos para o exercício da cidadania e para o
de trabalho (REICHERT, 2010). mundo do trabalho.
Até o momento, pré-painel de validação, fo- Desta forma, as dimensões de avaliação abar-
ram definidas quatro dimensões da avaliação, cam as duas abordagens da avaliação edu-
além das variáveis condicionais ligadas ao cativa, apontadas por Dias Sobrinho (2008),
perfil socioeconômico e cultural dos alunos e vistas como coessenciais e interdependentes.
suas famílias .
7
Por um lado, apoia-se nas abordagens do cog-
nitivismo e do interacionismo, que tendem a
1. Desenvolvimento de habilidades privilegiar o conhecimento dos processos de
acadêmicas e cognitivas: refere-se à aprendizagem, centrando-se nos processos
caracterização do desenvolvimento educativos e escolares internos à instituição.
das competências cognitivas e acadê- Esta perspectiva refere-se aos processos de
micas gerais, às vivências e integração construção do pensamento do sujeito que
na universidade, à autoeficácia na for- aprende. Por outro lado, leva-se em conta
mação e ao desempenho acadêmico;
também os contextos socioprofissionais, que
2. Acesso, permanência e equidade: refe- buscam os impactos da educação na socieda-
re-se à caracterização do acesso ao en- de em termos socioeconômicos, mesmo que
sino superior, bem como permanência e de forma limitada aos beneficiários, em um
persistência, e à promoção da equidade; primeiro momento.
38
Grande parte dos indicadores refere-se a —— Encuesta Nacional de la Adolescencia y la
impactos intangíveis, como a formação de Juventud do Instituto Nacional de Esta-
competências, satisfação com curso, satisfa- dística (INE) do Uruguai10;
ção com a profissão escolhida, entre outros.
—— Questionário do Exame Nacional de De-
Felizmente há uma literatura extensa que tem sempenho de Estudantes (ENADE) 2008;
ajudado na construção deste tipo de indicado-
res (MERCURI e POLYDORO, 2004; BENEITONE —— Questionário de matrícula da Unicamp
et al., 2007; PASCARELLA e TERENZINI, 2005; 2010;
GUERREIRO, 2007; SCHLEICH, 2006; FIOR, —— European Social Survey (2010).
2008; PELISSONI, 2007; BOWEN, 1977; ALMEIDA
et al., 2004). Também há vários questionários A princípio, não serão investigados os impac-
já validados que podem apoiar a construção tos de segunda e terceira ordem, na socieda-
dos instrumentos de coleta. Dentre eles pode e na economia do país, na linha dos es-
dem ser citados: tudos de Bluestone ( 1993), Caffrey e Isaacs
(1971) ou Williams e Swail (2005). Mas à
—— Questionário do Students Experience in medida que a metodologia evoluir, poderão ser
the Research University (SERU) Interna-
acrescentadas novas ordens de impactos. O
tional Consortium – Brazil8;
desafio é balancear a quantidade de dimen-
—— Questionário de avaliação dos progra- sões e indicadores para analisar os principais
mas de bolsa da Fapesp (GEOPI/DPCT)9; impactos, mas factível de ser realizada.
7 Grande parte dos dados das variáveis condicionais já foi levantada no momento da inscrição no ProFIS e da matrícula na Unicamp.
8 Mais informações em: <http://cshe.berkeley.edu/research/seru/index.htm>.
9 Avaliação de Programas da Fapesp: desenvolvimento e aplicação de métodos para avaliar impactos de programas da Fapesp
e para a criação de avaliação continuada – auxílio pesquisa regular da Fapesp (segunda fase de projeto que se desenvolveu entre
os anos de 2006-2008). Na fase atual (n. do Processo: 08/58628-7), estão sendo avaliados os programas: bolsas (IC, mestrado e
doutorado), Biota e Equipamentos Multiusuários; na fase anterior (n. do processo: 2006/50332-6): PIPE, PITE, Políticas Públicas e
Jovem Pesquisador.
10 Disponível em: <http://www.infamilia.gub.uy/gxpfiles/ENAJ/ENAJFinal.pdf>.

Dificuldades de A estrutura destas questões compreende três
passos:
atribuição das
causalidades 1.O indicador mudou devido ao pro-
A avaliação do ProFIS inclui a avaliação de seus grama? (Sim – mudança positiva mu-
impactos, que trata da identificação sistemáti- dança negativa Não)
ca dos efeitos – positivos ou negativos, inten-
2.Se houve uma mudança, qual foi a
cionais ou não – nos beneficiários e em suas mudança observada? (Dados quantita-
famílias. Segundo World Bank (2004), há van- tivos ou subjetivos)
tagens evidentes no uso deste tipo de meto-
dologia, que permite fornecer estimativas da 3.O quanto a mudança observada foi
efetivamente devida ao programa?
magnitude dos resultados e impactos para os
(Escala de 0 a 100%)
diferentes grupos demográficos, regiões ou
ao longo do tempo. E também pode oferecer O último tem por objetivo fazer uma checa-
respostas para questões de fundo – “em que gem dupla da causalidade que tenta aproxi-
medida um determinado programa faz dife- mar a resposta ao máximo possível da realida-
rença?”, cuja profundidade dá confiança para de (SALLES-FILHO et al., 2011). Desta forma,
a tomada de decisões. Entretanto, são avalia- busca-se adequar da melhor forma a atribui-
ções custosas e demoradas, pois é necessário ção da causalidade.
acessar e acompanhar os grupos de tratamen-
to e comparação por um longo período. Na avaliação do ProFIS, a atribuição da cau-
salidade dos impactos à realização do en-
A concepção quase-experimental, que possi- sino superior, e especificamente ao ProFIS,
bilita comparações entre a população do pro- encontra grandes dificuldades. As mudanças
grama e a dos grupos de comparação, feitas observadas, em grande parte, podem ser
antes e depois do Programa, também está in- atribuídas às transformações da fase da vida
clusa na avaliação do ProFIS. Esta é uma forma dos alunos, que estão no momento da passa-
de trabalhar a causalidade das mudanças que gem da adolescência para a juventude e vida
poderão acontecer. Outra forma de atribuição adulta. Por estarem em uma época da vida
da causalidade planejada é por meio do mé- de muitas mudanças, sempre será necessá-
todo de adicionalidade, que compara os be- rio investigar a influência de outras causas,
neficiários com eles mesmos. Isto é comple- ou seja, se as mudanças teriam acontecido
mentado com questões que buscam checar sem a frequência ao ensino superior.
com o respondente o quanto a alteração ob-
servada está relacionada com o programa em Segundo Guerreiro (2007), também é ne-
questão (ZACKIEWICZ, 2005; SALLES-FILHO cessário considerar as características com
et al., 2011 e 2010, WILLINGER, 2010). as quais os estudantes chegam ao ensino
40
superior. Estas características próprias e es- evitar a tendência de tentar medir uma gran-
pecíficas de cada um são classificadas como de diversidade de fatores, o que dá origem
aspectos condicionais, que se relacionam ao risco de criar uma perversa lista de indi-
direta e indiretamente com o impacto da cadores sem significado (BACH, 2010).
educação superior, podendo direcioná-lo
ou limitá-lo. Isto implica que os estudantes Entende-se que mais dados não significam
apresentem diferentes níveis de desenvol- mais accountability. Segundo State Higher
vimento ou de mudança, ainda que experi- Education Executive Officers (2005), a incor-
mentem as mesmas vivências acadêmicas. poração de uma quantidade grande de infor-
As variáveis condicionais apontadas pela mação limita sua utilidade, especialmente
literatura são gênero, idade, etnia, nível edu- quando se perde o foco dos objetivos de
cacional dos pais, capital cultural dos estu- avaliação, diluindo-se o esforço e impedin-
dantes, nível socioeconômico, dentre outras. do o progresso.
Outro grande desafio é manter a participa-

Considerações finais
ção, envolvendo os stakeholders e os sha-
O texto procurou discutir os principais de- reholders no desenvolvimento, interpretação
safios metodológicos e operacionais da ava- e revisão dos indicadores, além dos bene-
liação do ProFIS que está em curso. Um dos ficiários e grupos de comparação na coleta
principais desafios reside na delimitação do dos dados. Este desafio passa por tornar a
que deve ser avaliado. Como apresentado, avaliação institucionalizada para, então, con-
a identificação de temas e indicadores de seguir garantir recursos humanos e financei-
avaliação é feita a partir do método de de- ros para manter a avaliação no longo prazo
composição, que parte dos objetivos do Pro- bem como o processo de sua validação.
grama e dos objetivos da avaliação. De for-
ma complementar, realizam-se estudos de Entretanto, mesmo em países de grande
indicadores a partir da rica literatura sobre tradição em avaliação, como os EUA, ain-
impactos do ensino superior. da há um gap entre a pesquisa e a prática,
que pode ser equacionado com a criação de
Este método, junto com os demais que com- comunidades de prática (COZZENS, 2010),
põem a metodologia de avaliação do Pro- como as que se formam nas redes de arti-
grama, busca sistematizar a definição dos culação e discussão, como, por exemplo, na
indicadores e métricas. Entretanto, deve-se Rede Brasileira de Monitoramento e Avaliação.

ALMEIDA et al. Transição, adaptação e ren- CAFFREY, J.; ISAACS, H. Estimating the impact
dimento acadêmico de jovens no ensino of a college or university on the local eco-
superior: relatório final do projecto. Bra- nomy. Washington, DC: American Council on
ga, Pt: Universidade do Minho, 2004. Education, 1971.
ANDRADE, Cibele Y.; TELLES, Stella M. B. CARR, R.; ROESSNER, D. The Economic Impact
da S. Universalização e equidade: analise of Michigan’s Public Universities. SRI Pro-
da evolução do acesso a Educação Básica. ject: PDH 02-019. Michigan Economic De-
Bahia Análise & Dados, v. 18, p. 34-41, velopment Corporation and the Presidents
2008. Council, State Universities of Michigan, 2002.
Disponível em: <http://www.michiganadvan-
BACH, Laurent. Fronteiras da avaliação: tage.org/cm/files/ Reports/univimpactreport.
Europa. Trabalho apresentado no Seminá- pdf>. Acesso em: 13 maio 2011.
rio Internacional Fronteiras da Avaliação,
Campinas – SP, 18 e 19 de novembro de COELHO, Rodrigo Pereyra de Sousa; HIRATA,
2010. Disponível em: <http://www.ige. Regina; TELLES, Stella Maria Barberá Silva.
unicamp.br/fronteiras/palestras/18_930_ Avaliação do processo de implantação dos
LaurentBach.pdf>. Acesso em: 13 maio CRAS em Campinas: relatório de pesquisa.
2011. Campinas: NEPP/Unicamp e Prefeitura Muni-
cipal de Campinas, 2008.
ROTHEN, José Carlos; BARREYRO, Gladys
Beatriz. Avaliação, agências e especia- COZZENS, Susan. Fronteiras da Avaliação:
listas: padrões oficiais de qualidade da EUA. Trabalho apresentado no Seminário
educação superior. Ensaio: aval. pol. públ. Internacional Fronteiras da Avaliação, Cam-
Educ, v.17, n. 65, p. 729-752, 2009. pinas – SP, 18 e 19 de novembro de 2010.
Disponível em <http://www.ige.unicamp.br/
BENEITONE, P. et al. Reflexões e Perspecti- fronteiras/palestras/18_930_SusanCozzens.
vas do Ensino Superior na América Latina: pdf>. Acesso em 13 maio 2011.
relatório final – Proyecto Tuning – América
Latina 2004-2007. Espanha: Universidade DIAS SOBRINHO, José. Avaliação e trans-
de Deusto, 2007. formações da educação superior brasileira
(1995-2009): do provão ao Sinaes. Avaliação:
BLUESTONE, B. UMASS/Boston: an econo- Revista da Avaliação da Educação Superior.
mic impact analysis. Boston: John W. Mc- Campinas; Sorocaba, v.15, n.1, p.195-224,
Cormack Institute of Public Affairs, The 2010.
University of Massachusetts, 1993.
DIAS SOBRINHO, J. Avaliação educativa: pro-
BOWEN, HOWARD. Investment in Lear- dução de sentidos com valor de formação.
ning: the individual and social value of Avaliação: Revista da Avaliação da Educação
American Higher Education. San Francisco: Superior. Campinas; Sorocaba, v. 13, n. 1, p.
Jossey-Bass, 1977. 193-207, 2008.
42
DIAS, C. L.; HORIGUELA, M. L. M.; MARCHELLI, KROTSCH, P. Educación superior y reformas
P. S. Políticas para avaliação da qualidade do comparadas. Buenos Aires: Universidad Na-
Ensino Superior no Brasil: um balanço crítico. cional de Quilmes Editorial, 2003.
Educação e Pesquisa, São Paulo, v. 32, n. 3, p.
435-464, set./dez., 2006. KUH, George D. and EWELL, Peter T. The state
of learning outcomes assessment in the Uni-
DRAIBE, Sonia Miriam ; PEREZ, José Roberto ted States. Higher Education Management
Ruz . O Programa TV Escola: desafios à in- and Policy, v.22, n.1, 2010.
trodução de novas tecnologias. Cadernos de
Pesquisa. São Paulo: Fundação Carlos Chagas, LAMARRA, N. F. Educación superior y calidad
v. 109, p. 27-49, 1999. en América Latina y Argentina: los procesos
de evaluación y acreditación. Buenos Aires:
EUROPEAN SOCIAL SURVEY. ESS Round 5 IESALC: EDUNTREF, 2007.
Source Questionnaire. London: Centre for
Comparative Social Surveys, City University LESKES, Andrea; WRIGHT, Barbara Wright. The
London. 2010 Art and Science of Assessing General Educa-
tion Outcomes: a practical guide. Washing-
FIOR, Camila Alves. Interações dos universitá- ton, 2005.
rios com os pares e envolvimento acadêmico:
análise através da modelagem de equações LIMA, Licínio C.; AZEVEDO, Mário Luiz Neves
estruturais. Faculdade de Educação, Unicamp, e CATANI, Afrânio Mendes. O processo de
2008. Tese (Doutorado em Educação). Bolonha, a avaliação da educação superior e
algumas considerações sobre a Universidade
FURTADO, A. T. (Coord.). Políticas públicas Nova. Avaliação. v. 13, n. 1, p. 7-36, 2008.
para a Inovação Tecnológica na Agricultura
do Estado de São Paulo: métodos para avalia- MERCURI, Elizabeth; POLYDORO, Soely (Org.).
ção de impactos de pesquisa – relatório final. Estudante Universitário: características e ex-
DPCT. Campinas: Unicamp, 2003. periências de formação. Taubaté: Ed. Cabral,
2004.
FURTADO, A. et al. Evaluation of the results
and impacts of a social-oriented technology PASCARELLLA, E. T.; TERENZINI, P. T. How Col-
program in Brazil: the case of Prosab (a sani- lege Affects Students: a third decade of re-
tation research program). Research Evalua- search. San Francisco, CA: Jossey-Bass, v. 2,
tion, v. 18, p. 289-300, 2009. 2005.
GUERREIRO, Daniela Couto. Integração e au- PELISSONI, Adriane Martins Soares. Auto-efi-
to-eficacia na formação superior na percep- cácia na transição para o trabalho e compor-
ção de ingressantes: mudanças e relações. tamento de exploração de carreira, em licen-
Faculdade de Educação, Unicamp, 2007. Dis- ciandos. Dissertação (Mestrado em Educação)
sertação (Mestrado em Educação). – Faculdade de Educação, Unicamp, 2007.

PEREIRA, Elisabete Monteiro Aguiar (Org.). Uni- REAL, Giselle Cristina Martins. Avaliação e
versidade e Educação Geral: para além da es- qualidade no Ensino Superior: os impactos do
pecialização. Campinas: Alínea, 2007a. período 1995-2002. Educação e Pesquisa, São
Paulo, v. 35, n.3, p. 573-584, set./dez. 2009.
PEREIRA, Elisabete Monteiro Aguiar. Universi-
dade e currículo: versões e revisões. Campi- REICHERT, Sybille. The Intended and Uninten-
nas, 2007b. Tese de livre Docência. ded Effects of the Bologna Reforms. Higher
Education Management and Policy, v.22, n.1,
PERRIN, Burt. Monitoring? Evaluation? Impact p.59-78, 2010.
Evaluation? Appreciating and Taking Advanta-
ges of the Differences. Workshop at the Cairo REZENDE, Marcelo. The Effects of Accountabi-
conference on Impact Evaluation, 29 March lity on Higher Education. Economics of Educa-
2009. Disponível em : <http://www.3ieimpact. tion Review, v.29, n.5, p.842-856, Oct. 2010.
o r g /u s e r f i l e s / f i l e / 4 1 _ 1 % 2 0 Pe r r i n % 2 0
Cairo%20Workshop%20M&E.ppt>. Acesso ROTHEN, José Carlos; BARREYRO, Gladys Be-
em : 13 maio 2011. atriz. Avaliação, agências e especialistas: pa-
drões oficiais de qualidade da educação supe-
PRØITZ, Tine S. Learning outcomes: What are rior. Ensaio: aval. pol. públ. Educ., v. 17, n. 65,
they? Who defines them? When and where are p. 729-752, 2009.
they defined? Educational Assessment, Eva-
luation and Accountability, v. 22, n. 2, p. 119- RUS PEREZ, Jose Roberto; STOCO, S. Sistema de
137, May 2010. avaliação da educação básica: uma análise da
política. Cadernos de Pesquisa em Educação
PRÓ-REITORIA DE GRADUAÇÃO. Universidade PPGE. UFES, v. 14, p. 35-50, 2008.
Estadual de Campinas. Projeto Pedagógico:
Programa de Formação Interdisciplinar Supe- SALLES-FILHO, Sergio L. M. Avaliação Multidi-
rior. 2010. Disponivel em: <http://www.prg. mensional de CT&I. Trabalho apresentado no
unicamp.br/portal/index.php?option=com_ Seminário Internacional Fronteiras da Avalia-
docman&task=doc_download&gid=200&Item ção, Campinas – SP, 18 e 19 de novembro de
id=175&lang=pt>. Acesso em: 13 maio 2011. 2010. Disponível em: <http http://www.ige.
44
unicamp.br/fronteiras/palestras/18_1130_ STATE HIGHER EDUCATION EXECUTIVE OFFI-
SergioSalles.pdf>. Acesso em: 13 maio 2011. CERS. Accountability for better results: a
national imperative for higher education.
SALLES-FILHO, S. et al. Multidimensional asses- Denver, CO: National Commision on Accoun-
sment of technology and innovation programs: tability in Higher education, 2005. Disponível
the impact evaluation of INCAGRO-Peru. Rese- em: <http://www.sheeo.org/account/accoun-
arch Evaluation, v. 19, n. 5, p. 361-372, 2010. tability.pdf>. Acesso em: 13 maio 2011.
SALLES-FILHO, S. et al. Evaluation of ST&I WILLIAMS, A.; SWAIL, W. Is more better? The
Programs: a Methodological Approach to the impact of postsecondary education on the
Brazilian Small Business Program and some economic and social well-being of American
Comparisons with the SBIR Program. Paper society. Washington, DC: Educational Policy
presented at Georgia Tech Conference, Atlan- Institute, Inc. 2005.
ta, Outubro 2009.
WILLINGER, Marc. Avaliação Experimental.
SALVATO, Marcio Antonio; FERREIRA, Pedro Trabalho apresentado no Seminário Interna-
Cavalcanti Gomes; DUARTE, Angelo José cional Fronteiras da Avaliação, Campinas – SP,
Mont’Alverne. O Impacto da Escolaridade so- 18 e 19 de novembro de 2010. Disponível em:
bre a Distribuição de Renda. Estudos Econômi- <http://www.ige.unicamp.br/fronteiras/pales-
cos, São Paulo, v. 40, n. 4, p. 753-791, outubro- tras/19_1330_Marcwillinger.pdf>. Acesso em:
-dezembro 2010. 13 maio 2011.
SCHLEICH, Ana Lucia Righi. Integração a edu- WORLD BANK. Monitorização e avaliação: al-
cação superior e satisfação academica de gumas ferramentas, métodos e abordagens.
estudantes ingressantes e concluintes: um Washington, D.C.: World Bank, 2004.
estudo sobre relações. Faculdade de Educa-
ção, Unicamp, 2006. Dissertação (Mestrado ZACKIEWICZ, Mauro. Trajetórias e desafios da
em Educação). avaliação em ciência. Tecnologia e inovação.
Universidade Estadual de Campinas, Instituto
de Geociências, 2005. Tese (doutorado).

Levantamento do
Tribunal de Contas
da União sobre
os sistemas de
monitoramento
e avaliação da
administração
direta do poder
executivo
Selma Maria Hayakawa Cunha Serpa1
1 Auditora Federal de Controle Externo do tribunal de Contas da união desde 1987;

doutoranda e mestre em Administração pela universidade de Brasília; especialista em Au-
ditoria Governamental (ESAF/MF), Avaliação de Políticas Públicas (uFRJ) e Avaliação da
Gestão Pública (iSC/tCu); graduada em Administração e Ciências Contábeis. Ex-Secretária
de fiscalização e avaliação de programas governamentais do TCU (2003-2006), tendo
46
exercido, ainda, as funções de diretora técnica e assessora.
Resumo
A moderna administração pública não pode mais ser concebida sem a existência de siste-
mas de monitoramento e avaliação, que se constituem nos instrumentos utilizados para
assegurar, com base em evidências, que informações qualificadas para retroalimentar o
processo decisório sejam disponibilizadas
tempestivamente aos tomadores de deci-
são, no intuito de possibilitar não apenas a
Abstract
melhoria da eficiência do Estado no provi- The structure of modern public administration is
mento de bens e serviços à sociedade, mas intrinsically associated with the use of monitoring and
também a transparência e accountability evaluation systems by the Government. By definition, mo-
das ações governamentais. nitoring and evaluation systems are constituted of ins-
truments which, based on evidence, ensure that qualified
Objetivando conhecer como ocorre o
information used to give support to the decision-making
processo de implementação das ativi-
process are timely made available to decision makers. The
dades de avaliação e monitoramento e
adoption of such systems is essential not only in respect
buscando identificar em que medida essas
to the principle of efficiency of the State (when creating
práticas estão institucionalizadas e se
assets and delivering services to the society), but also
constituem em sistemas de monitoramen-
to the principles of transparency and accountability of
to e avaliação, o Tribunal de Contas da
governmental actions.
União (TCU), por meio da Secretaria de
Fiscalização e Avaliação de Programas de With the purpose to assess the processes for implementa-
Governo (Seprog), elaborou o “Levanta- tion, institutionalization and constitution of monitoring
mento dos Sistemas de Monitoramento e and evaluation systems in Brazil, the Court of Audit
Avaliação dos Órgãos da Administração (TCU), through the Secretary of Audit and Evaluation
Direta do Poder Executivo”, junto a 25 of Governmental Programs (SEPROG), has developed
órgãos responsáveis pelos programas “The Assessment Report of Monitoring and Evaluation
finalísticos do poder executivo federal. Systems Applied to Organs of Direct Administration in
Tal levantamento foi apreciado na sessão the Executive” in cooperation with 25 agencies in charge
do plenário de 19.10.2011, Acórdão nº of programs of the Federal Executive Power. The report
2.871/2011, sob a relatoria do ministro was voted in the plenary session on October 19th in 2011,
Valmir Campelo. Este artigo apresenta um in Case No. 2.871/2011, under the rapporteur of Minister
excerto do trabalho realizado pelo TCU Valmir Campelo. The purpose of this article is to discuss
e tem por objetivo destacar seus princi- the work of the Court of Audit based on an excerpt of
pais resultados e conclusões2. the Report with focus on its results and conclusions.
2 A íntegra do Relatório está disponível no seguinte endereço eletrônico: <http://portal2.tcu.gov.br/portal/page/portal/TCU/comunida-

des/programas_governo/areas_atuacao/administracao_publica>
Palavras-chave:
Administração pública; Tribunal de Contas da União; Avaliação; Monitoramento; Órgãos
Públicos; Poder Executivo
Levantamento do Tribunal de Contas da União sobre os sistemas de monitoramento e avaliação da administração direta do poder executivo 47
1.Referencial conceitual
Para o desenvolvimento deste trabalho, to- processo contínuo e participativo de
maram-se por base as definições de monito- aperfeiçoamento da administração
ramento e avaliação, bem como de sistemas pública federal, sob a perspectiva dos
de monitoramento e avaliação (M&A), com resultados para o cidadão. É uma eta-
pa do ciclo de gestão governamental e
vistas a caracterizar o objeto do estudo e
visa melhorar o desempenho dos pro-
orientar a análise decorrente do levantamen-
gramas, promover o aprendizado das
to dos dados.
equipes gerenciais, além de prestar
contas ao Congresso Nacional e à so-
A avaliação, de acordo com Weiss (1998), é ciedade (BRASIL, 2010b, p. 10).
um termo bastante abrangente que acomoda
muitas definições. No entanto, o que todas Por sua vez, o monitoramento, segundo Patton
elas têm em comum é a noção de julgamento (2008), tem por objetivo o acompanhamento
de mérito, baseado em critérios, segundo um da implementação de programas, ações e/ou
método específico. Para Weiss, a avaliação é atividades a fim de identificar tempestiva-
“a análise sistemática do processo e/ou dos mente os problemas que possam comprome-
resultados de um programa ou política, em ter os resultados esperados.
comparação com um conjunto explícito ou
implícito de padrões, com o objetivo de con- Embora as atividades de monitoramento e
tribuir para o seu aperfeiçoamento” (WEISS, avaliação sejam tratadas de forma integrada
1998, p. 4, tradução nossa). no âmbito dos sistemas de M&A, são conside-
radas abordagens avaliativas distintas. Para
Essa definição pode ser decomposta em cinco Kusek e Rist (2004), esses dois instrumentos,
elementos: o primeiro diz respeito à análise avaliação e monitoramento, têm objetivos
sistemática, em que se enfatiza a natureza complementares. O monitoramento visa tor-
metodológica do trabalho; o segundo e o ter- nar mensuráveis os objetivos dos programas
ceiro referem-se ao foco da investigação, ou por meio de indicadores de desempenho,
seja, ao processo de execução ou aos resulta- relacionando as ações e os recursos necessá-
dos do programa e/ou política; o quarto trata rios para o seu atingimento, bem como com-
dos critérios, que são os padrões de compa- parando, por meio da coleta sistemática de
ração; o quinto relaciona-se ao propósito da dados, os resultados obtidos com as metas
avaliação: contribuir para a melhoria do pro- propostas, de forma que assegure ao gestor
grama e/ou política, por meio da utilização as informações sobre os progressos obtidos
dos resultados (WEISS, 1998). e os problemas encontrados. A avaliação, por
outro lado, examina o porquê dos resultados,
identificando as causas que contribuíram ou
Para o Ministério do Planejamento, Orçamen-
dificultaram o alcance dos objetivos do pro-
to e Gestão (MPOG), a avaliação de programas
grama e emitindo um julgamento de valor ou
é entendida como:
48
mérito sobre o processo de implementação. de institucionalização, que dificultam identi-
Além disso, explora os resultados não inten- ficar as características necessárias para que
cionais, favorecendo o aprendizado dos ges- se possa configurar um sistema de monitora-
tores e oferecendo recomendações para o mento e avaliação.
aperfeiçoamento dos programas.
Desta forma, para que a prática avaliativa seja
Essa afinidade de propósitos tem propiciado considerada um sistema de avaliação, são
a institucionalização de sistemas de M&A no utilizados os critérios definidos por Leeuw
âmbito da administração pública, os quais e Furubo (2008), conforme apresentado por
buscam desenvolver mecanismos sistemá- Ferrari (2010), que ajudam a caracterizá-los.
ticos que viabilizem o acompanhamento do O primeiro critério diz respeito à existência
desempenho das ações governamentais, com de uma perspectiva epistemológica que de-
vistas em assegurar que os resultados es- fina tanto os objetivos quanto os propósitos
perados possam ser alcançados, bem como da avaliação. O segundo estabelece que essa
aperfeiçoados, contribuindo para a melhoria atividade seja formalmente instituída dentro
da gestão e favorecendo a accountability dos da organização. O terceiro e o quarto critérios
gastos públicos. tratam do foco (o que avaliar) e das intenções
de uso dos resultados das avaliações.
Segundo Grau e Bozzi (2008), a crescente utili-
zação na América Latina de sistemas de moni- Esses critérios são compatíveis com aqueles
toramento e avaliação dos resultados no setor utilizados por Grau e Bozzi (2008) no traba-
público é um meio para avançar na busca por lho por elas coordenado sobre os sistemas
maior transparência e efetividade das ações de M&A nos países da América Latina. Para
governamentais e, desta forma, ampliar a ca- caracterizar tais sistemas, as autoras, ante a
pacidade para o exercício do controle coletivo, falta de delimitação conceitual e de consenso
com o aumento da legitimidade do Estado, o sobre o que se denomina, genericamente, de
combate à corrupção, o melhor uso do dinhei- sistema nacional de monitoramento e ava-
ro público e a criação de políticas e serviços liação nos países estudados, estabeleceram
que promovam o bem-estar social, reduzindo os seguintes critérios como necessários para
a pobreza e combatendo a desigualdade. definir a unidade de análise da pesquisa, ou
seja, os sistemas denominados de Monito-
No entanto, os sistemas de M&A existentes ramento e Avaliação ou o conjunto de ferra-
apresentam diversidade de funções, modelos mentas com potencial para converter-se em
e instrumentos, assim como diferentes graus sistema. São eles:

a) existência de institucionalização programas finalísticos do Governo Federal,
formal, com unidade coordenadora e especialmente das avaliações de programas
nome próprio; e dos mecanismos de monitoramento, a par-
tir dos dados constantes do Sistema de Mo-
b) operacionalização do sistema por
nitoramento e Avaliação do Plano Plurianual,
uma entidade com função e autorida-
de sobre toda a administração pública, tendo em vista que se trata de um sistema
mas com funções especializadas; instituído por lei (Lei nº 11.653/2008), de
abrangência nacional e sob a coordenação e
c) regularidade das atividades; responsabilidade do órgão central de plane-
d) realização de atividades de monito- jamento do poder executivo.
ramento e avaliação;
Cabe observar que tal estratégia encontra
e) intenção de cobertura global;
respaldo no trabalho coordenado por Grau e
f) utilização das informações resultan- Bozzi (2008), cuja orientação para identificar
tes e das atividades de monitoramento os sistemas de monitoramento e avaliação
e avaliação; foi localizar uma unidade coordenadora cla-
ramente delimitada e institucionalizada, com
g) articulação explícita dos usuários e
autoridade para criar processos de coleta de
das funções do sistema;
dados para realizar M&A e enviar informa-
h) localização do sistema no poder ções processadas para os potenciais usuários.
executivo; A partir da identificação das atividades dessa
i) regulação do sistema dentro da ad- unidade, seria possível delimitar o alcance

ministração pública; do sistema, os componentes e as ferramen-
tas utilizadas, assim como sua relação com as
j) mínima densidade instrumental, ou outras práticas de M&A dentro do governo, o
seja, de ferramentas e instrumentos
que ajudaria a construir o mapa dos demais
desenvolvidos sistematicamente para
sistemas existentes.
realizar monitoramento e avaliação.
Considerando, portanto, que os critérios de- Assim, a partir da caracterização e contextua-

finidos por Leeuw e Furubo (2008) sinteti- lização do Sistema de Monitoramento e Ava-
zam aqueles estabelecidos por Grau e Bozzi liação do Plano Plurianual, conforme descrito
(2008), guardadas as dimensões da análise, e a seguir, buscou-se identificar outros siste-
tomando-os por base, procedemos a identi- mas e suas inter-relações com os modelos de
ficação, inicialmente, das práticas avaliativas planejamento e gestão setorial e central, con-
existentes nos órgãos responsáveis pelos siderando a abrangência de suas ações.
50
2. Sistema de Posteriormente, com o PPA 2008-2011, apro-
vado pela Lei nº 11.653/2008, foi criado o
Monitoramento e Sistema de Monitoramento e Avaliação do
Avaliação do Plano Plano Plurianual, também integrado ao mode-
Plurianual lo de gestão do novo Plano, regulamentado
A avaliação dos resultados dos programas go- pelo Decreto nº 6.601/2008, revogando, em
vernamentais, entendidos como aqueles de- decorrência, o Decreto nº 5.233/2004.
finidos para a elaboração do Plano Plurianual
(PPA) e dos orçamentos da União, é realizada de O modelo de gestão do PPA para o quadriênio
forma sistemática pelo poder executivo, desde 2008-2011, como também o foi o PPA ante-
a implementação do PPA 2000-2003, confor- rior, é orientado para resultados, segundo os
me estabelecido no Decreto nº 2.829/1998 e princípios da eficiência, eficácia e efetivida-
determinado nas respectivas leis que dispuse- de, sendo estruturado em dois níveis: o estra-
ram sobre os Planos Plurianuais. tégico, que compreende os objetivos do go-
verno e setoriais, e o tático-operacional, que
Coube ao Ministério do Planejamento Orça- trata dos programas e suas ações.
mento e Gestão (MPOG), por intermédio da
Secretaria de Planejamento e Investimentos Cabe ressaltar que o PPA para o quadriênio
Estratégicos (SPI), apoiada pelo Sistema de 2012-2015 introduziu “alterações significa-
Informações Gerenciais e de Planejamento tivas na estrutura adotada pelos últimos três
(SIGPlan), coordenar os processos de moni- planos plurianuais do Governo Federal. O
toramento e de avaliação dos programas do sentido geral das mudanças é o da busca por
PPA, bem como normatizar e disponibilizar um caráter mais estratégico do Plano, criando
metodologia, orientação e apoio técnico para condições efetivas para a formulação, a ges-
a sua execução. tão e a implementação das políticas públicas”
(BRASIL, 2011, p. 9).
Com a edição do PPA 2004-2007 (Lei nº
10.933/2004 e alterações) e com vistas As alterações fundamentais foram no binô-
na elaboração do relatório de avaliação do mio “programa-ação”, base de estruturação
Plano, anualmente encaminhado ao Con- tanto do plano quanto dos orçamentos nos
gresso Nacional pelo poder executivo, foi últimos três PPAs, que deu lugar aos progra-
instituído o Sistema de Avaliação do PPA mas temáticos, objetivos e iniciativas, sendo
integrado ao modelo de gestão do mencio- a ação orçamentária uma categoria exclusiva
nado Plano, o qual foi regulamentado pelo do orçamento anual. Além dessas categorias,
Decreto nº 5.233/2004. o conjunto de ações destinadas ao apoio, à

gestão e à manutenção da atuação governa- A gestão estratégica nos órgãos do poder exe-
mental, bem como as ações não tratadas nos cutivo, responsáveis por programas e ações, é
programas temáticos por meio de suas inicia- coordenada pelo secretário executivo ou seu
tivas, foi organizado em programas de gestão, equivalente, apoiado pela respectiva Unidade
manutenção e serviços ao Estado. de Monitoramento e Avaliação (UMA), no intui-
to de assegurar o alcance dos objetivos seto-
Nos planos anteriores, a dimensão tática e ope- riais, mediante a atuação integrada do órgão.
racional era representada pelo binômio progra-
ma-ação e a dimensão estratégica subdividia-se Cabe observar que tanto a Comissão de
em dois segmentos: as orientações estratégicas Monitoramento e Avaliação (CMA) como
de governo e as dos ministérios. as UMAs foram constituídas na vigência do
PPA 2004-2007, para apoiar o Sistema de
Avaliação do Plano.
2.1 Propósitos e objetivos do
Sistema de Monitoramento e
Avaliação (SMA) 2.3 Competências
Segundo o Manual de Avaliação do PPA Ao Comitê de Gestão do PPA, instância criada
2008-2011, Exercício 2009, Ano Base 2008 a partir do PPA 2008-2011, compete a ado-
(BRASIL, 2009a, p. 7), o objetivo central do ção de medidas para fortalecer a gestão para
SMA, que compreende os processos de mo- resultados, monitoramento e deliberação em
nitoramento e avaliação, “é assegurar que nível estratégico.
as informações produzidas sejam utilizadas
pela administração pública federal como No que diz respeito à CMA, instituída na vigência
parte integrante da gestão dos programas, do PPA 2004-2007, suas competências foram
com vistas à obtenção de melhores resulta- redefinidas para o PPA 2008-2011, conforme
dos pelo governo e de modo a oferecer sub- apresentado, comparativamente, no quadro 1.
sídios para a tomada de decisão e a melhoria
da qualidade da alocação dos recursos no À CMA, portanto, a partir do PPA 2008-2011,
Plano e nos Orçamentos anuais”. coube assessorar o Comitê de Gestão do Pla-
no, além de dar continuidade à elaboração de
diretrizes gerais relativas ao monitoramento e
2.2 Estrutura
à avaliação das políticas e dos programas pú-
O SMA, portanto, organizou a gestão do Pla- blicos no âmbito do poder executivo e ainda
no Plurianual 2008-2011, sendo integrado acompanhar as iniciativas de monitoramento
pelos responsáveis pela gestão nos níveis es- e avaliação desenvolvidas pelos órgãos se-
tratégico e tático-operacional e coordenado toriais, de modo que promova o aperfeiçoa-
pelo MPOG, conforme disposto no Decreto nº mento do sistema e defina critérios e parâme-
6.601/2008 e na Portaria/GM/MPOG nº 140, tros para a avaliação de projetos de grande
de 10 de junho de 2009. vulto. Para tanto, passou a contar com o apoio
52
■■ Quadro 1: Comparativo das competências do CMA no PPA 2004-
2007 e no PPA 2008-2011
CMA PPA 2004-2007 CMA PPA 2008 - 2011
Composição Competências Composição Competências
i) elaborar propostas de nor-

mas e de procedimentos gerais
MPOG relativos ao monitoramento e à MPOG i) assessorar o Comitê
-SPI (coordenação) avaliação dos programas inte- -SPI (coordenação) de Gestão do PPA
-SOF grantes do Plano Plurianual no -SOF
-IPEA âmbito do poder executivo -SEGES
SEGES (i e vi) -DEST ii) elaborar diretrizes
ii) oferecer elementos técnicos -IBGE gerais relativas ao
que orientem o processo de
monitoramento e à
Ministério Fazenda alocação de recursos orçamen-
avaliação das políti-
-STN tários e financeiros e de revisão Ministério Fazenda
cas e dos programas
-SPE dos programas com vistas ao -STN
públicos no âmbito
alcance dos resultados -SPE do poder executivo
iii) acompanhar as
Casa Civil/PR
iii) estabelecer diretrizes gerais iniciativas de monito-
-Subchefia de Articulação SAE/PR
para implantação de metodo- ramento e avaliação
e Monitoramento -IPEA
logias de avaliação dos progra- desenvolvidas pelos
-Subchefia de Análise e
mas e para aperfeiçoamento e órgãos setoriais, de
Acompanhamento de
integração de sistemas de in- modo a promover o
Políticas Governamentais Casa Civil/PR
formações gerenciais aperfeiçoamento do
-Subchefia de Articulação
sistema
e Monitoramento
iv) selecionar programas a se- -Subchefia de Análise e
iv) definir critérios
MMA (vii) rem objeto de avaliação, sem Acompanhamento de Po-
e parâmetros para a
prejuízo de outros cujas ava- liticas Governamentais
avaliação de projetos
liações sejam de interesse dos
de grande vulto
órgãos setoriais
v) avaliar as propostas de aper-
feiçoamento da metodologia v) deliberar sobre as-
de avaliação anual dos planos suntos encaminhados
plurianuais e dos programas pelas Câmaras Técni-
selecionados cas de Monitoramen-
vi) acompanhar o conjunto de to e Avaliação (CTMA)
avaliações de programas de- Secretaria-Geral/PR e de Projetos de
senvolvidas pelos órgãos se- Grande Vulto (CTPGV)
toriais
vii) examinar a viabilidade
técnica e socioeconômica de
projetos de grande vulto
Fonte: Portaria Interministerial nº 10/MP/MF/CC, de 11 de janeiro de 2005; Portaria/MP nº 67, de 11 de abril de

2005; Portaria/MP nº 66, de 1º de abril de 2009 e Portaria/MP nº 183, de 7 de julho de 2009.

da Câmara Técnica de Projetos de Grande Vul- b) preparar informações consolidadas
to (CTPGV), além da Câmara Técnica de Mo- para o monitoramento dos objetivos
nitoramento e Avaliação (CTMA), instituída na setoriais, dos programas e das ações
vigência do Plano anterior. do órgão;
c) apoiar o secretário executivo ou seu

Coordenada pela SPI e com o objetivo de con- equivalente no monitoramento dos in-
tribuir para a melhoria da qualidade do gas- dicadores de programas do órgão;
to público, à CTMA coube assessorar a CMA
d) disseminar aos gerentes de progra-
na apreciação das matérias relacionadas às
ma e aos coordenadores de ação as
competências da Comissão e na integração
metodologias indicadas pela CMA;
com as UMAs. Compete-lhe ainda, segundo
disposto no § 5º do art. 18 do Regimento In- e) informar à CMA as iniciativas e os
terno, emitir minutas dos atos e documentos estudos de monitoramento e avaliação
que devam ser submetidas à apreciação e desenvolvidos pelo órgão;
aprovação da CMA e promover o desenvol- f) apoiar os gerentes de programas mul-
vimento e a disseminação de metodologias tissetoriais na articulação com os coor-
e orientações que subsidiarão o aperfeiçoa- denadores de ação de outros órgãos;
mento da gestão do PPA e do SMA.
g) apoiar tecnicamente o processo de
levantamento de informações regiona-
À CTPGV, segundo disposto no art. 11 do De-
lizadas do órgão;
creto nº 6.601/2008, coube manifestar-se
quanto à rejeição ou aprovação da viabilida- h) organizar e consolidar internamente
de técnica e socioeconômica dos projetos de as informações para os relatórios insti-
grande vulto, assim como elaborar estudos tucionais e legais;
que subsidiem a definição de critérios e parâ- i) encaminhar à CMA a lista de projetos
metros para a avaliação dos projetos de grande grande vulto aprovados pelo órgão,
de vulto de forma diferenciada, em função de prevista no §1º do art. 12 do Decreto
faixas de valor e de tipos de intervenção, a nº 6.601/2008.
serem submetidos à consideração da CMA.
Aos gerentes de programas coube formu-
No que concerne às atribuições das UMAs, lar e monitorar os indicadores, gerenciar a
estas foram definidas na Portaria/GM/MPOG implementação dos programas, os riscos
nº 140, de 10 de junho de 2009, as quais e restrições que possam influenciar o seu
compete: desempenho, além de avaliar o programa.
Compete-lhes, ainda, zelar pela qualidade
a) assessorar o secretário executivo ou das informações das ações regionalizadas
seu equivalente no monitoramento e e manter atualizadas as informações no
na avaliação dos objetivos setoriais, SIGPlan. Para o desempenho de suas atribui-
sob o foco do conjunto de programas ções, contam com o apoio dos gerentes exe-
54 e ações do órgão; cutivos por eles indicados.
Os coordenadores de ação, de forma similar A forma de articulação, interação e os fluxos
aos gerentes de programa, são apoiados por de informações entre as três instâncias do
coordenadores executivos de ações e têm as Sistema podem ser visualizados na figura 1.
seguintes competências:
2.5 Comitê de Gestão do Plano
a) viabilizar e monitorar a execução de (CGPPA)
uma ou mais ações do programa;
Com relação às atividades desenvolvidas pe-
b) obter o produto expresso e quantifi-
las diversas instâncias no âmbito do Sistema,
cado da meta física da ação;
coube ao CGPPA a adoção de medidas para
c) garantir a utilização dos recursos de fortalecer a gestão para resultados, o monito-
forma eficiente; ramento e a deliberação em nível estratégico.
No entanto, a primeira reunião ordinária do
d) gerir os riscos e as restrições que
possam influenciar a execução da ação; Comitê ocorreu apenas em 20 de dezembro
de 2010, onde foram feitas duas apresenta-
e) manter atualizadas as informações ções: uma acerca do Relatório de Avaliação
da ação no SIGPlan, até mesmo quan- da Dimensão Estratégica do PPA 2008-2011
to à regionalização por unidade da
e outra que discorreu sobre o cenário atual
federação.
do Plano Plurianual, do planejamento gover-
namental e das perspectivas futuras e pro-
2.4 Principais atividades e postas da SPI para o PPA 2012-2015. Desta
produtos forma, constata-se que o Comitê, embora ins-
O principal objetivo do Sistema de Monitora- tituído, não deu efetivamente cumprimento
mento e Avaliação do Plano Plurianual, inte- às atribuições para as quais foi criado.
grado pelo Comitê de Gestão do Plano, pela
Comissão de Monitoramento e Avaliação e pe- As questões estratégicas relacionadas ao
las Unidades de Monitoramento e Avaliação, é Plano, conforme se depreende das entrevis-
assegurar que as informações produzidas nos tas realizadas com servidores da SPI, em que
diversos processos de M&A sejam utilizadas pese a ausência formal de atuação do CGPPA,
pela administração pública federal como parte foram discutidas em outros fóruns, como, por
da gestão dos programas, com vistas na ob- exemplo, no acompanhamento do PAC, na
tenção de melhores resultados pelo governo, Junta Orçamentária (Fazenda, Planejamento,
contribuindo para a tomada de decisão e para Casa Civil), dentre outros, cujas discussões
a melhoria da qualidade da alocação dos re- tiveram reflexos nas atividades de planeja-
cursos no Plano e nos orçamentos. mento a cargo da Secretaria.

■■ Figura 1: Sistema de Monitoramento e Avaliação do PPA
MINISTÉRIO DO PLANEJAMENTO ÓRGÃOS SETORIAIS

E GESTÃO
N Secretarias
Í Executivas
V
E Sistema de
L Comitê de
Monitoramento e
Gestão do PPA
E Avaliação PPA
S
T
R Unidades de
A Comissão de Monitoramento e
Monitoramento
T Avaliação (CMA)
É e Avaliação (UMAs)
G
I
C
CTMA CTPGV
O
N
SPI
Í
V Gerentes de
E
L Programa
Gerentes
T Executivos
Á Sistema Próprio de
T Monitoramento e
I Avaliação
C
O
Sistemas de Informações
O Gerenciais e de Planejamento Coordenação de
P Ação
E (SIGPlan)
R Coordenadores
A Executivos
C
I
O
N
A
L
Fonte: Brasil (2009).
2.6 Comissão de Monitoramento das ao PPA 2004-2007 quanto ao PPA 2008-

e Avaliação (CMA) 2011, prevaleceram as discussões relaciona-
Com vistas em examinar o cumprimento das das aos Projetos de Grande Vulto (PGV).
atribuições da CMA, inicialmente foram ana-
lisadas as atas das reuniões realizadas, ob- Cabe observar que, nos exercícios de 2008,
jetivando identificar em que medida a CMA 2010 e até março de 2011, não foram realiza-
promoveu o desenvolvimento do Sistema, a das reuniões da CMA, conforme atas encami-
articulação e coordenação das funções de nhadas e informações coletadas junto a SPI.
monitoramento e avaliação no âmbito do
poder executivo. A competência para avaliação dos projetos
de grande vulto pela CMA, a fim de exami-
Conforme se infere da leitura das atas, nas nar sua viabilidade técnica e socioeconômi-
56 reuniões da CMA, tanto aquelas relaciona- ca, está prevista na Portaria Interministerial
nº 10/MP/MF/CC, de 11 de janeiro de 2005. do o modelo lógico, que consiste em um ins-
Constitui-se em avaliação ex-ante e objetiva trumento que explicita a teoria do programa,
aprimorar a ação de governo, contribuindo de modo que organize e articule as ações do
para a eficiência do investimento, evitan- programa com os resultados esperados, não se
do a dispersão e o desperdício de recursos constituindo propriamente em avaliação rápida.
públicos. Durante a vigência do PPA 2004-
2007, consistia em etapa prévia à inclusão Ressalta-se que a metodologia para a reali-
do investimento de grande vulto no PPA zação das avaliações rápidas, conforme in-
e, para o PPA 2008-2011, condição para o formações obtidas neste Levantamento, não
início da execução do Projeto. No período foi concluída, embora tenham sido selecio-
compreendido entre 2005-2008, a CMA re- nados programas para sua aplicação, sendo
cebeu 330 estudos de viabilidade. um deles o Programa Segundo Tempo, do Mi-
nistério dos Esportes, que foi utilizado como
Segundo a SPI, durante a vigência do PPA referência na nota técnica elaborada pelo
2004-2007, as discussões acerca dos PGV IPEA sobre o modelo lógico.
ocorreram em todas as reuniões da CMA, o
que pode ser constatado nas respectivas atas, A aplicação do modelo lógico nos programas
sendo aquelas que antecederam o prazo final de governo foi disseminada pela SPI, por meio
para envio da proposta orçamentária, exclude oficinas promovidas pela ENAP, e seus resul-
sivamente dedicadas a esse assunto. Nesse tados foram examinados nos trabalhos realiza-
período, foram elaborados 125 pareceres e dos por este Tribunal nos TC 029.094/2008-0
7 notas técnicas. No entanto, não foi possível e TC 014.899/2009-2, tendo sido constatada
examinar em que extensão o resultado do a sua importância para a melhoria da formula-
trabalho realizado pela CMA, neste aspecto, ção dos programas de governo e organização
contribuiu para a melhoria da eficiência do das atividades de avaliação.
investimento, evitando a dispersão e o des-
perdício de recursos públicos. Cabe ressaltar que, em algumas reuniões da
CMA, foi enfatizada a importância do fortale-
No que diz respeito às demais atribuições da cimento do SMA do governo e a necessidade
CMA, foi constatado que, na vigência do PPA estratégica de se acelerar a avaliação dos pro-
2004-2007, ocorreram as principais ativida- gramas selecionados como pilotos para a rea-
des da Comissão relacionadas à formulação lização de avaliações rápidas (inicialmente 6
de diretrizes, especificamente quanto ao de- programas), pela cobrança, dentro do próprio
senvolvimento metodológico da modalidade governo, de melhorar a gestão e a qualidade
de avaliação denominada avaliação rápida, do gasto, bem como de aprimorar o processo
no âmbito da qual foi desenvolvido e aplica- alocativo, mediante a definição de priorida-

des, evitando-se a pulverização de recursos. disseminar o entendimento a respeito dos
No entanto, essas iniciativas não tiveram con- procedimentos no âmbito das responsabili-
tinuidade na vigência do PPA atual. dades do Órgão Central no Sistema de Plane-
jamento e Orçamento Federal e dos Órgãos
Outra iniciativa observada foi a criação de Responsáveis por Programas de Governo, de
Grupo de Trabalho Interministerial com a fina- acordo com o anexo III da Lei nº 11.653, de
lidade de subsidiar a CMA na implantação de 7 de abril de 2008. No entanto, apesar do in-
metodologia de Avaliação Ambiental Estraté- teresse dos membros da CMA em ratificar as
gica (AAE) no âmbito do poder executivo fe- competências que lhes foram instituídas, não
deral, tendo sido destacada a relevância dos se observou nos registros das atas seguintes
trabalhos do grupo para conceituação técnica nenhuma medida concreta voltada à defini-
de AAE e o impacto na melhoria das análises ção de diretrizes indutoras para o funciona-
dos projetos governamentais. mento do SMA.
Embora não tenham sido realizadas reuniões Naquela oportunidade, ainda, foi enfatizado
da CMA no exercício de 2008, constatou-se que além do PAC e dos PGVs, que já possuíam
que, na primeira reunião de 2009, foi desta- uma organicidade para a sua implementação,
cada a importância do papel da CMA para a os demais itens da agenda prioritária desta-
organização, de fato, do SMA, sendo a Comis- cados para impulsionar a estratégia de de-
são um importante elemento para assegurar senvolvimento do governo, ou seja, a Agen-
a qualidade da ação governamental, ao via- da Social (AS) e o Plano de Desenvolvimento
bilizar um olhar conjunto dos órgãos centrais da Educação (PDE), demandavam da CMA a
de governo. Destacou-se, ainda, que o go- sistematização metodológica, no intuito de
verno realiza inúmeras avaliações de forma proporcionar informações para apoiar os pro-
fragmentada e, na maioria das vezes, não se cessos decisórios dos gestores e dirigentes
apropria dos seus resultados, cabendo à CMA responsáveis pelo conjunto dos programas
definir orientações gerais e induzir avaliações finalísticos do PPA 2008-2011 que integram
de interesse do governo. essa agenda prioritária.
Posteriormente, naquele mesmo ano, ao se Conforme demonstrado no quadro 2, em ape-

retomar as discussões sobre o papel da CMA, nas duas das sete reuniões realizadas pela
foram reforçados os dois eixos centrais de CMA durante a vigência do atual Plano, foram
atuação da Comissão, um relacionado aos discutidas questões relacionadas ao acompa-
projetos de grande vulto (PGV), como instân- nhamento das iniciativas de monitoramento
cia orientadora e deliberativa sob a coorde- e avaliação realizadas nos demais órgãos in-
nação da CTPGV, e outro, na normatização e tegrantes do SMA. Em uma dessas reuniões,
organização do funcionamento do SMA, com foi apresentado, em termos quantitativos, um
institucionalização das diretrizes mínimas mapeamento das experiências de avaliações
sobre a organização das UMAs, no intuito de existentes nos órgãos setoriais, a partir da
58
■■ Quadro 2: Frequência das discussões das demais atribuições da CMA
Acompanhamento Medidas
PPA Diretrizes M&A
Iniciativas M&A Aperfeiçoadoras
2004-2007 (39 Reuniões) 7 1 1
2008-2011* (7 Reuniões) 5 2 1
Total 12 3 2
Fonte: Atas CMA.

* As reuniões da CMA ocorrem apenas no exercício de 2009.
base de dados do SIGPlan, mediante a tabu- 2.7 Unidades de Monitoramento

lação das respostas dos gerentes de progra-
e Avaliação (UMAs)
mas a uma das perguntas do questionário de
Avaliação de Programas do PPA – Exercício Segundo especialistas consultados e con-
de 2008 (Ano Base 2007), em que foram forme consta do Relatório do Banco Mundial
identificadas sessenta e seis experiências (2006), as UMAs foram inspiradas, em parte,
de outras avaliações em programas, além na experiência do Canadá:
da avaliação anual dos programas do PPA.

Constatou-se, à época, que vinte trabalhos onde os ministérios setoriais pos-
encontravam-se em andamento. suem unidades de avaliação que
assessoram os dirigentes adminis-
Segundo consta da ata de 27 de abril de 2009, trativos (vice-ministros) dos minis-
esse Levantamento deu uma ideia inicial das térios. No modelo canadense, cada
avaliações no âmbito do governo e poderia ministério tem uma unidade de
avaliação, quase sempre acoplada
auxiliar a organização do desenvolvimento
à unidade de auditoria, estrutura-
destas nos diversos níveis das ações gover-
da de acordo com as necessidades
namentais. Destacou-se, ainda, a necessidade
gerenciais internas. O principal ob-
de se entender como essas avaliações foram
jetivo dessas unidades é o de dar
realizadas, para que propósitos, e buscar inter- suporte permanente aos gestores
nalizar as metodologias utilizadas. No entanto, do alto escalão ministerial na exe-
conforme se observa da leitura das atas, essas cução das funções gerenciais inter-
propostas não tiveram consequências. nas (MATSUDA et al., 2006).

No Brasil, no entanto, conforme se verificou, térios, que não contam com SPOAs, essas
essas características não se confirmaram. As atribuições estão a cargo da Diretoria ou De-
UMAs não se estruturaram como unidades partamento de Gestão Estratégica. Importa
executoras e foram absorvidas, com suas atri- ressaltar que, em quatro ministérios, as atri-
buições, por unidades já existentes na estru- buições das UMAs estão sob a coordenação
tura dos órgãos setoriais, vinculadas aos se- de assessorias dos secretários executivos.
cretários executivos. E o seu principal objetivo
é garantir que as demandas do órgão central
Ainda quanto à implementação das atribui-
de planejamento, com relação ao PPA, sejam
ções das UMAs, constatou-se que as unidades
atendidas, conforme demonstrado a seguir.
responsáveis não dispõem de estrutura orga-
nizacional e de pessoas exclusivamente de-
Em pesquisa realizada junto a 31 órgãos da dicadas ao cumprimento dessas atribuições.
administração direta, com vistas em identi- Além disso, o quantitativo de pessoal alocado
ficar como as competências das UMAs fo- nessas unidades varia de 2 a 13 pessoas.
ram implementadas, constatou-se com base
nas 25 respostas obtidas (81%) que, em 17
As atividades, em geral, são executadas no
órgãos, as atribuições das UMAs foram re-
âmbito do processo regular de monitoramen-
gulamentadas internamente por meio das
to e avaliação dos programas do PPA, por
portarias que instituíram, em geral, os comi-
meio do acompanhamento do preenchimen-
tês gestores dos programas. Nos órgãos que
to dos dados no SIGPlan, conforme cronogra-
não formalizaram as atribuições, em que
ma estabelecido pela SPI, sendo esta a prin-
pese a ausência de normatização, as ativi-
cipal atividade da UMA indicada por 19 dos
dades são executadas em cumprimento ao
25 órgãos que responderam ao questionário.
Decreto nº 6.601/2007.
As atribuições das UMAs foram alocadas a O SIGPlan é o sistema de informação do MPOG
unidades hierarquicamente subordinadas utilizado para o cadastro e monitoramento dos
ao secretário executivo ou equivalente. programas de governo, sendo ainda o mais im-
Nos órgãos que possuem Subsecretarias de portante meio de comunicação entre os ges-
Planejamento, Orçamento e Administração tores dos programas e o órgão central, no que
(SPOA ou SPO), 12 respostas, as atribuições diz respeito ao acompanhamento da execução
das UMAs são desempenhadas, em geral, física e financeira dos programas e suas ações.
pelas Coordenações-Gerais de Planejamen-

to, conforme especificado nas respostas de Importa ressaltar que cinco órgãos utilizam
8 órgãos. No Ministério dos Transportes, sistemas próprios para o monitoramento dos
por exemplo, as atribuições da UMA são de programas, os InfraSigs, os quais são compa-
responsabilidade da Coordenação-Geral tíveis com o SIGPlan, embora tenham sido
de Acompanhamento e Avaliação, também desenvolvidos paralelamente. Segundo a
subunidade da SPOA. Em outros três minis- SPI/MPOG, 10 órgãos do poder executivo de-
60
senvolveram esses sistemas, no entanto, ape- constantes do PPA, para monitorar seus pro-
nas cinco encontram-se ativos. São eles: o gramas e ou ações. Esta evidência é relevan-
SIPLAN, do Ministério da Agricultura, Pecuária te, considerando as deficiências já apontadas
e Abastecimento (MAPA); o SigMCT, do Ministé- pelo Tribunal em outros trabalhos, em espe-
rio da Ciência e Tecnologia; o SIMEC, do Mi- cial no TC-014.899/2009-2, quanto à ade-
nistério da Educação; o PlamSUS (SisPlam), do quação dos indicadores do PPA para mensu-
Ministério da Saúde, e o SigTur, do Ministério rar o alcance dos objetivos dos programas e,
do Turismo. ainda, as fragilidades na formulação desses
programas e de seus objetivos.
Cabe observar que o SIMEC é um sistema de
informações do Ministério da Educação com Importante destacar a elevada dependência
várias funcionalidades, sendo uma delas a de desses órgãos da metodologia e dos instru-
monitoramento e avaliação do PPA. mentos de planejamento e gestão estabele-
cidos pelo órgão central (MPOG), em espe-
Os InfraSigs relacionados foram desenvolvi- cial dos mecanismos de monitoramento e
dos de forma integrada com o processo de avaliação.
planejamento dos órgãos setoriais, sendo
estruturados de acordo com as característi- Os órgãos que utilizam apenas os indica-
cas e necessidades próprias para a gestão das dores do PPA para o monitoramento são
políticas por eles executados. Os órgãos que responsáveis por 164 programas, segun-
utilizam os mencionados sistemas, conforme do dados do SIGPlan 2011. Assim, ante
constatado na pesquisa realizada, fazem uso as orientações para a elaboração do PPA
de outros indicadores para o monitoramento 2012-2015, que objetivam priorizar a fun-
do desempenho, além daqueles definidos ção planejamento no nível estratégico, bus-
para o PPA, os quais estão correlacionados cando uma maior flexibilização na imple-
com seus respectivos planos estratégicos, ao mentação das políticas a cargo dos órgãos
contrário dos órgãos que apenas utilizam o setoriais, mostra-se oportuno considerar a
SIGPlan. Os planos estratégicos, no entanto, capacidade desses órgãos para assegurar
não apresentam a mesma configuração do o adequado monitoramento e avaliação
PPA, exceto os relativos à Advocacia-Geral da dos programas a eles afetos, como também
União (AGU) e ao Ministério dos Transportes. acompanhar a estratégia do MPOG para co-
ordenar, supervisionar e apoiar em diferen-
Conforme consta na pesquisa, dos 25 órgãos tes níveis os desdobramentos decorrentes
pesquisados, 15 (60%) não utilizam outros do novo modelo de gestão a ser implantado
indicadores de resultados, além daqueles com o Plano 2012-2015.

■■ Quadro 3: Quantitativo de programas que possuem mecanismos
monitoramento
Existe monitoramento das metas físicas? 2006 % 2007 %

Não 14 4 15 4
Sim 325 96 329 96
Total 339 100 344 100
Fonte: Questionário de Avaliação Anual PPA 2006 e 2007.
2.8 Informações sobre os Em síntese, verificou-se que os mecanismos

mecanismos de monitoramento de monitoramento do desempenho das me-
tas físicas são compatíveis com as fontes de
Em face das constatações acima e com vistas
informações utilizadas para o monitoramen-
em identificar os mecanismos de monitora-
to dos objetivos setoriais, ou seja, além dos
mento utilizados pelos gerentes dos progra-
dados do SIGPlan, Relatórios de Gestão e
mas nos órgãos setoriais, foram selecionados
Reuniões de Trabalhos, destacou-se, ainda,
os dados das respostas do módulo de imple-
a utilização de sistemas informatizados, con-
mentação do questionário de avaliação anual
forme gráfico 2.
dos programas do PPA, disponibilizado pela
SPI para a elaboração do Relatório de Ava-
Ante a ampla utilização de sistemas infor-
liação dos Programas do PPA, dos exercícios
matizados para monitorar o desempenho
2006 e 2007. Como resultado, constatou-se
das metas físicas dos programas, além do
que, na maioria dos programas, as metas físi-
SIGPlan, foi solicitado na pesquisa realiza-
cas são monitoradas, conforme demonstrado
da com as UMAs que esses sistemas fossem
no quadro 3.
especificados. No entanto, constatou-se que
essas unidades não detêm conhecimento su-
Ainda em complemento à pergunta selecio- ficiente sobre tais sistemas, cabendo às áreas
nada do questionário de avaliação, em caso responsáveis pelos programas finalísticos o
positivo, os gestores poderiam indicar os me- seu desenvolvimento, gerenciamento e utili-
canismos de monitoramento por eles utiliza- zação. Além disso, esses sistemas foram de-
dos, de acordo com as seguintes alternativas: senvolvidos em formatos bastante variados,
a) reuniões de trabalho; b) visitas in loco; c) desde planilhas até sistemas de grande porte,
sistemas informatizados; d) SIGPlan; e) Rela- como, por exemplo, SIAB e HIPERDIA, do Mi-
62 tórios de Gestão; f) Infrasig; g) Outros. nistério da Saúde; CAGED e SFIT, do Ministério
■■ Gráfico 2: Mecanismos de monitoramento em relação ao
quantitativo de programas
250
200
150
100 2006
50 2007
0
(Branco) a) Reuniões de b) Visitas c) Sistemas d) SIGPlan e) Relatórios f) Infrasig g) Outros
trabalho in loco informatizados de gestão (especifique)
Fonte: Questionário de Avaliação Anual PPA 2006 e 2007.
do Trabalho e Emprego; SNIS, do Ministério No Ministério da Saúde, identificou-se a

das Cidades, dentre outros. No entanto, as Sala de Situação em Saúde, que disponi-
informações disponibilizadas por esses sis- biliza um conjunto de informações sobre
temas, após examinadas e analisadas pelas os programas executados pelo Ministério,
áreas responsáveis, são utilizadas como fonte além da Agenda Estratégica denominada
de informação pelas UMAs para subsidiar as Mais Saúde, um plano estratégico do Minis-
atividades a seu cargo. tério, organizado em 4 pilares, 8 eixos de
intervenção e 21 objetivos estratégicos,
No que diz respeito aos sistemas de monito- monitorados por 244 indicadores.
ramento, considerados aqueles formalmente
instituídos, com estrutura e instrumentos que O Ministério do Desenvolvimento Social
assegurem a sua continuidade, bem como a e Combate à Fome (MDS), por sua vez,
sua utilização, identificou-se, especialmente conta com uma secretaria específica para
nas entrevistas realizadas nas unidades res- o desenvolvimento das ações de monito-
ponsáveis pelas UMAs, iniciativas que aten- ramento e avaliação, a Secretaria de Ava-
dem a esses critérios. O Ministério da Educa- liação e Gestão da Informação (SAGI), que
ção (MEC), por exemplo, dispõe de um sistema dispõe, em sua estrutura, de uma Depar-
de monitoramento das ações do Ministério de- tamento de Monitoramento, responsável
nominado Painel de Controle, além do módulo pela construção e mensuração dos indi-
relativo ao monitoramento e avaliação do PPA, cadores dos programas estratégicos do
ambos disponíveis por meio do SIMEC. Ministério.

Os Ministérios da Agricultura e do Turismo dos mecanismos e instrumentos para a men-
também dispõem de planos estratégicos, res- suração dos resultados.
pectivamente, Gestão Estratégica do MAPA e
Plano Nacional de Turismo, com metas e indi- Desta forma, as sistemáticas de monitora-
cadores definidos, além daqueles estabelecimento delineadas no âmbito desses instru-
dos para o PPA. mentos de planejamento mostram-se mais
eficazes, efetivas e úteis para a mensuração
Nas respostas à pesquisa com as UMAs, foi do desempenho.
constatado que, além desses Ministérios,
outros órgãos também utilizam indicadores
correlacionados aos seus respectivos planos
2.9 Informações sobre as
estratégicos, como é o caso da AGU, Contro-
avaliações de programas
ladoria-Geral da União (CGU), Ministérios da A metodologia adotada para a avaliação do
Ciência e Tecnologia, da Justiça e dos Trans- PPA é estruturada em três etapas inter-re-
portes. O Ministério das Relações Exteriores lacionadas, a cada qual correspondente um
também utiliza outros indicadores para o mo- produto específico, com responsabilidades
nitoramento e acompanhamento das ativida- definidas. A primeira etapa corresponde à
des desenvolvidas pelas suas unidades. avaliação do programa, realizada pelo ge-
rente de programa ou gerente executivo e
Cabe observar que os Ministérios das Cida- supervisionada pelo secretário executivo,
des e da Integração Nacional informaram, à com base em um questionário padroniza-
época deste trabalho, iniciativas em curso, do, disponibilizado anualmente pela SPI. O
com vistas na elaboração dos seus respecti- produto final dessa fase é o relatório anual
vos planos estratégicos. de avaliação dos programas e das metas de
suas ações. A segunda etapa constitui a
Sendo o monitoramento uma atividade vin- avaliação setorial, realizada pelo secretá-
culada, que demanda a prévia definição dos rio executivo ou seu equivalente, onde são
resultados a serem atingidos, e considerando avaliados os objetivos setoriais e elaborado
que o modelo de gestão dos programas do o respectivo relatório anual. Por fim, a SPI/
PPA, conforme apontado em outros trabalhos MPOG, responsável pela avaliação estraté-
realizados tanto pelo TCU como por outras or- gica de desenvolvimento, consolida o rela-
ganizações, não se mostrou adequado às ne- tório de avaliação do Plano elaborado pelo
cessidades dos órgãos setoriais, a existência poder executivo para ser enviado ao Con-
de outras iniciativas de planejamento, como gresso Nacional.
planos estratégicos ou planos nacionais, evi-
denciam alternativas mais plasmadas à ges- Cabe observar que os relatórios de avaliação
tão das políticas setoriais, bem como à iden- dos programas e de avaliação anual dos obje-
tificação dos objetivos a serem atingidos, dos tivos setoriais são divulgados e disseminados
meios necessários para sua implementação e pelos respectivos órgãos setoriais.
64
No que diz respeito especificamente às ava- Assim, em face da metodologia adotada para
liações anuais de programas do PPA, confor- a realização da avaliação anual, por meio de
me examinado no trabalho realizado por Mar- um questionário padronizado, o resultado
tins (2007), constatou-se que as informações dela decorrente caracteriza-se muito mais
ali produzidas atendem principalmente as como monitoramento do que propriamente
necessidades da SPI, para subsidiar o proces- como avaliação.
so de revisão/formulação do PPA. Segundo
o Relatório do Banco Mundial (2006), essas No entanto, além dessas avaliações, cujo
avaliações padecem das restrições impostas processo é institucionalizado, contínuo e
pelo próprio modelo adotado para elabo- instrumentalizado, características que de-
ração e gestão do Plano, não atendendo às finem um sistema de avaliação, buscou-se
necessidades dos órgãos setoriais, haja vista identificar outras avaliações realizadas nos
que não permite, de maneira geral, a adequa- programas de governo, a fim de evidenciar
ção para os diferentes modelos de gestão das práticas avaliativas sistematizadas que tam-
políticas setoriais. bém pudessem vir a ser caracterizadas como
sistemas de avaliação.
Segundo o Relatório do Banco Mundial
(2006): Desta forma, utilizando os dados das respostas
ao questionário de avaliação anual dos progra-
a julgar pelas questões colocadas, mas, especificamente quanto à questão que
a avaliação concentra-se nos resul- indagava sobre a existência de outra avaliação,
tados dos programas (e respectivos além da avaliação do PPA, constatou-se que,
indicadores), nas restrições à gestão nos órgãos vinculados ao poder executivo, no
dos programas e nas características
período compreendido entre 2005 e 2009, foi
da gestão setorial. Percebe-se pouca
informada, pelos respectivos gerentes, a exis-
ênfase na avaliação do impacto dos
tência de 509 avaliações realizadas, conforme
programas (sua eficácia e relevância),
demonstrado no quadro 4.
da sua eficiência (relação insumo/
produto) ou da priorização dos gastos
Analisando as respostas a esta questão,
intersetoriais. No tocante à avaliação
do desenho dos programas, dá-se constatou-se que nem todos os registros se
maior importância à identificação de tratavam de avaliação. Em 112 deles, não
carências e necessidades específicas constava informação alguma que indicasse o
do que à compreensão de como os objetivo da avaliação, os aspectos avaliados
programas deveriam estar operando. do programa, a instituição avaliadora ou qual-
O uso de questões padronizadas im- quer outro dado que possibilitasse inferir a
pede que se dê ênfase ao esquema natureza da prática avaliativa. Por outro lado,
lógico dos programas. 161 registros evidenciavam outras práticas

avaliativas, que, pelo conteúdo dos comentá- início e término dos trabalhos, bem como os
rios, não se caracterizavam como avaliações valores pagos, se fosse o caso.
de programas, no sentido de se examinar,
com base em critérios e segundo uma me- As respostas encaminhadas não permitiram
todologia, um dado aspecto do programa ou ratificar as informações coletadas nos ques-
política. Desta forma, apenas 236 registros tionários. O Ministério do Esporte, por exem-
foram considerados válidos para análise nes- plo, informou a realização de duas avaliações,
te Levantamento. no período de 2008 a 2010, que correspon-
dem às avaliações registradas no exercício de
Em vista dessas informações, foi solicitado 2009, nos Programas Esporte e Lazer da Cida-
às UMAs que relacionassem as avaliações de de e Vivência e Iniciação Esportiva Educacio-
programas realizadas nos últimos três exer- nal – Segundo Tempo, cujos trabalhos foram
cícios, indicando a instituição avaliadora, os realizados pela PUC-Minas. No entanto, em
aspectos avaliados do programa, as datas de 2008, consta a contratação de consultoria por
■■ Quadro 4: Quantitativo de avaliações por órgão/ano

2005 2006 2007 2008 2009 2005-
2008-
Vinculação
2007 2009 TOTAL
Gabinete da Presidência da República 1 1 0 1
Ministério da Agricultura, Pecuária e Abastecimento 12 7 9 4 9 28 13 41
Ministério da Ciência e Tecnologia 5 6 1 1 7 12 8 20
Ministério da Cultura 6 2 2 3 5 10 8 18
Ministério da Defesa 6 5 5 6 4 16 10 26
Ministério da Educação 3 2 4 3 3 9 6 15
Ministério da Fazenda 3 2 4 3 1 9 4 13
Ministério da Integração Nacional 3 1 4 5 8 5 13
Ministério da Justiça 8 4 9 3 7 21 10 31
Ministério da Previdência Social 3 3 0 6 6
Ministério da Saúde 11 12 12 5 4 35 9 44
Ministério das Cidades 2 1 1 4 6 4 10 14
Ministério das Comunicações 3 2 1 2 2 6 4 10
Ministério das Relações Exteriores 3 3 4 2 6 6 12
Ministério de Minas e Energia 3 4 3 8 13 10 21 31
Ministério do Desenvolvimento Agrário 2 2 2 1 4 6 5 11
Ministério do Desenvolvimento Social e Combate à Fome 9 4 4 4 5 17 9 26
Ministério do Desenvolvimento,
5 3 3 6 5 11 11 22
Indústria e Comércio Exterior
Ministério do Esporte 3 4 3 2 3 10 5 15
Ministério do Meio Ambiente 15 7 8 3 9 30 12 42
Ministério do Planejamento, Orçamento e Gestão 5 2 7 2 3 14 5 19
Ministério do Trabalho e Emprego 6 3 4 5 7 13 12 25
Ministério do Turismo 2 1 1 2 3 3 6
Ministério dos Transportes 2 3 5 5 10 5 15
Ministério Público da União 1 0 1 1
Presidência da República 1 2 1 1 2 4 3 7
Secretaria Especial de Aquicultura e Pesca 1 1 1 1 2 2 4
Secretaria Especial de Políticas de
1 1 1 1 2 2 4
Promoção da Igualdade Racial
Secretaria Especial de Políticas para as Mulheres 2 0 2 2
Secretaria Especial dos Direitos Humanos 3 2 2 8 7 8 15
TOTAL 123 82 99 76 129 304 205 509
66 Fonte: Questionário de Avaliação Anual de Programas – PPA 2005/2009.

meio do Programa das Nações Unidas para o programas para o Ministério do Desenvol-
Desenvolvimento (PNUD) para a construção vimento Social e Combate à Fome, quando
de indicadores e instrumento de avaliação do comparado com a relação das avaliações
Programa Esporte e Lazer da Cidade, sem que encaminhadas pela SAGI/MDS, também não
essa informação tenha sido ratificada. confere. Segundo informado pelo Ministério,
no período 2004-2010, foram concluídos 80
Em entrevista realizada com o Ministério da trabalhos de natureza avaliativa, sendo que
Agricultura, quando indagado sobre as ava- foram extraídos apenas 26 registros dos da-
liações registradas nas respostas ao questio- dos dos questionários de avaliação do PPA,
nário de avaliação do PPA (41 no total e 12 no período 2005-2009, dos quais 23 se en-
após análise dos dados), foi-nos esclarecido quadravam nos critérios definidos para carac-
que os mencionados trabalhos são iniciativas terizar avaliação de programas.
das próprias secretarias do Ministério, sobre
as quais a UMA não tem conhecimento, ten- Identificou-se, ainda, que as oficinas realiza-
do sido informado que o MAPA não dispõe das pela SPI/ENAP para capacitação e aplica-
de recursos para contratação de avaliações ção do modelo lógico foram registradas como
externas, tampouco dispõe, na sua estrutura, avaliação em algumas respostas das UMAs
de unidade com competência específica para à pesquisa, assim como as auditorias opera-
a realização desses trabalhos. cionais realizadas pelo TCU para avaliação de
programas sob a responsabilidade da Secre-
No Ministério da Saúde, órgão que apresentou taria de Direitos Humanos.
o maior número de avaliações realizadas (44
no total e 32 após análise dos dados), segundo Em síntese, constatou-se que as UMAs têm
a UMA, essas avaliações são executadas sem a pouco conhecimento sobre as iniciativas de
participação, ou quase nenhuma participação, monitoramento e avaliação realizadas no âm-
daquela Unidade, que pouco conhece sobre os bito das secretarias finalísticas dos órgãos se-
trabalhos, os quais são definidos e realizados toriais, sendo que 11 órgãos informaram que
apenas com a participação das áreas responsá- não foram realizadas outras avaliações além
veis pela implementação dos programas. Essas do PPA, em que pese tenham sido registradas
avaliações são contratadas de diferentes for- nos dados do questionário. Outros 8 órgãos
mas, por meio de acordos de cooperação com não responderam a esta questão ou mencio-
organismos externos, por intermédio de con- naram que não se aplicava e apenas 3 identi-
vênios ou instrumentos similares e mediante ficaram os trabalhos realizados.
licitação em alguns casos.
Em face o exposto, pode-se concluir que as
O quantitativo de avaliações constante dos UMAs não desempenham a atribuição que
dados dos questionários de avaliação dos lhes foi delegada de acompanhar as inicia-

tivas e os estudos de monitoramento e ava- Na análise das respostas ao questionário de
liação desenvolvidos pelos órgãos setoriais, avaliação anual do Plano, constatou-se nos
com vistas na promoção da supervisão e co- registros que diversas abordagens avaliativas
ordenação por parte da CMA. As práticas ava- são incluídas como avaliação de programa,
liativas ocorrem de forma fragmentada, sem muito embora não atendam minimamente
o devido acompanhamento da natureza dos aos critérios geralmente aceitos para tanto.
serviços, do que foi realizado, como foi rea-
lizado, para que foi realizado e como foram Observou-se que o entendimento comum
utilizados os seus resultados. das diversas abordagens avaliativas aplica-
das na administração pública ainda é uma
questão a ser consolidada, em que pese o
3. Institucionalização esforço de disseminação da SPI/MPOG, dis-
dos sistemas de ponibilizando aos gestores públicos infor-
monitoramento e mações circunstanciadas sobre os funda-

mentos teóricos relacionados à avaliação de
avaliação programas, por meio de manuais e orienta-
Segundo Ferrari (2010), “a institucionaliza- ções para avaliação anual dos programas do
ção de um sistema avaliativo depende de um PPA, bem como da realização de cursos de
entendimento compartilhado sobre o obje- capacitação e oficinas de trabalho para apli-
to a ser avaliado, como avaliar e para que”. cação do modelo lógico.
Tem-se, portanto, que o monitoramento e a
avaliação, como instrumentos, podem ser Cabe ressaltar, no entanto, conforme salienta-
utilizados para atender múltiplos objetivos, do pelo secretário executivo do MDS, Rômulo
mas, para que a sua prática possa ser carac- Paes, no Seminário realizado pela ENAP sobre
terizada como sistema, é necessário que os a institucionalização do monitoramento e
pressupostos anteriormente relacionados se- avaliação do Governo Federal, em novembro
jam atendidos e compartilhados pelos atores de 2010, que, entre os órgãos que já apresen-
envolvidos e, especialmente, por aqueles que tam uma experiência consolidada em avalia-
utilizarão os resultados. ção, há uma convergência conceitual “para
além das introduções”, apesar da ausência
No que diz respeito ao sistema de monitora- de uma coordenação dessas iniciativas. No
mento e avaliação do PPA, esses três requisitos entanto, essa constatação não pode ser ge-
foram definidos no Manual de Avaliação para neralizada para toda a administração pública
as avaliações do Plano. No entanto, observou- federal, conforme pode ser evidenciado na
-se nas entrevistas realizadas com as UMAs e análise dos dados.
nos comentários às respostas do questionário
para avaliação anual dos programas do PPA Além disso, constata-se que no Brasil não
que os conceitos estabelecidos pelo MPOG existem normas, diretrizes ou padrões gerais
não são adequadamente compreendidos e que estabeleçam os requisitos necessários
68 compartilhados entre os diversos atores. para regulamentar as atividades de monitora-
mento e avaliação no âmbito da administra- autoavaliação anual dos programas do PPA,
ção pública federal, ou seja, não existe uma observou-se que as avaliações realizadas no
política nacional de avaliação que estabeleça âmbito dos programas de governo são execu-
o que é avaliação e monitoramento, quais os tadas principalmente por instituições de en-
objetivos a serem atingidos com a realiza- sino superior e entidades a elas vinculadas,
ção dessas atividades, de que forma devem destacando-se, ainda, o IPEA, a CGU e o TCU,
ser conduzidas, quais os elementos mínimos além das avaliações internas dos respectivos
do produto final a ser elaborado e entregue, órgãos e aquelas conduzidas pelo MPOG.
quem pode e deve executar esse tipo de ati-
vidade e quais os critérios a serem utilizados Com base nessas evidências, pode-se depre-
para examinar e controlar a adequação e qua- ender que as entidades vinculadas às insti-
lidade das atividades desenvolvidas. tuições de ensino superior são os principais
provedores dos serviços de avaliação no Bra-
Desta forma, ante a ausência de critérios, sil, levando-nos a inferir que, com exceção do
as avaliações são executadas por diversas MPOG, IPEA, TCU e CGU, que realizam essa ati-
organizações, sem que haja elementos míni- vidade em cumprimento aos seus respectivos
mos que assegurem a natureza dos serviços mandatos legais, os órgãos governamentais
realizados a título de avaliação de programas. da administração direta no nível federal, em
Essa constatação dificulta a apropriação e geral, não desenvolveram internamente as
utilização dos resultados desses trabalhos competências necessárias para essa prática,
por outros atores interessados, ante a au- ou seja, a capacidade avaliativa, cujos ele-
sência de requisitos gerais que permitam mentos, segundo Duignam (2003), requerem
assegurar a credibilidade e validade dos re- o conhecimento sobre o uso apropriado do
sultados apresentados. modelo de avaliação a ser aplicado, assim
como o desenvolvimento das habilidades ne-
O MDS, conforme mencionado neste relatório, cessárias inerentes ao processo de avaliação
é o único órgão na administração federal di- e uma estratégia institucional para a seleção
reta que dispõe de uma política de monitorados objetos a serem avaliados.
mento e avaliação formal e de uma secretaria
instrumentalizada para a realização dessas ati- Essa constatação mostra-se relevante, na
vidades, muito embora a principal estratégia medida em que se identificou, também, que
adotada por aquele órgão para a execução das a questão conceitual ainda não se apresenta
avaliações seja a contratação dos serviços. devidamente consolidada entre os gesto-
res dos programas, bem como, para imple-
Assim, com vistas em traçar um perfil das ins- mentação efetiva de um modelo de gestão
tituições avaliadoras, tomando-se por base as de resultados, como o adotado no Brasil, as
informações constantes dos questionários de funções monitoramento e avaliação devem

ser adequadamente instituídas no âmbito do Percebe-se a compatibilidade e interopera-
ciclo de gestão. bilidade entre os InfraSigs e o SIGPlan, como
sistemas complementares, uma vez que infor-
Desta forma, pode-se concluir que sistemas mações disponíveis nos InfraSigs alimentam
de avaliação de programas governamentais, o SIGPlan. Não obstante essa interseção, os
considerados aqueles formalmente instituídos, InfraSigs são sistemas primários de planeja-
com estrutura e instrumentos devidamente or- mento, controle e monitoramento dos órgãos
ganizados e implementados, com atividades setoriais e não subsistemas do SIGPlan. Re-
regulares e contínuas, estão circunscritos aos presentam instrumentos de apoio à gestão
órgãos governamentais com competências dos órgãos setoriais adequados às demandas
legais para tanto: MPOG e IPEA; CGU e TCU internas.
(avaliações realizadas no âmbito de audito-
rias), assim como a SAGI/MDS, muito embora Assim, exceto quanto à SAGI/MDS, não foram
esta não se apresente como executora direta identificados sistemas integrados de monito-
de avaliações. Além desses, tem-se aquelas ramento e avaliação, segundo os elementos
modalidades de avaliação desenvolvidas para deste Levantamento.
fins específicos, como as avaliações educacio-
nais do Instituto Nacional de Estudos e Pes- No entanto, conforme apresentado por
quisa (INEP) e as pesquisas realizadas pelo Leeuw e Furubo (2008), os sistemas de M&A
Instituto Brasileiro de Geografia e Estatística podem ser considerados dentro de uma tipo-
(IBGE), bem como aquelas que são realizadas logia mais abrangente de sistemas de avalia-
por entidades vinculadas a instituições de ção, os quais, baseado no International Atlas
pesquisa, como, por exemplo, a FIOCRUZ. No of Evaluation (FURUBO et al., 2002) e no
entanto, não foi possível identificar e construir, Roots of Evalutation (ALKIN, 2004), podem se
com base nas informações obtidas junto as configurar, além dos sistemas de M&A, como:
UMAs e nos dados das avaliações anuais dos sistemas de monitoramento de desempenho,
programas do PPA, os tipos, instrumentos me- sistemas de auditoria de desempenho, fis-
todológicos e formas de utilização das avalia- calização e oversight, sistemas de avaliações
ções identificadas que pudessem ser caracte- (quase) experimentais e evidence-based po-
rizados como sistemas de avaliação. licy movement e sistemas de avaliação e cer-
tificação (accreditation).
Tampouco foi possível construir o mapa
dos sistemas de monitoramento e avalia- Segundo os critérios apresentados por Grau e
ção da administração direta do poder exe- Bozzi (2008), os sistemas de monitoramento e
cutivo federal, considerando que os canais avaliação são instrumentos de monitoramen-
de comunicação entre esses sistemas, que to institucionalizados para acompanhamento
seriam intermediados pelas UMAs e arti- e mensuração de resultados, com vistas em
culados e coordenados pela CMA, não se assegurar que os resultados esperados pos-
estruturaram, muito embora outros siste- sam ser alcançados, bem como aperfeiçoa-
70 mas existam. dos, contribuindo para a melhoria da gestão
e favorecendo a accountability dos gastos Além disso, trabalhos anteriormente reali-
públicos. Esses sistemas são classificados na zados pelo TCU demonstram que a SPI ain-
proposta por Leeuw e Furubo como sistemas da enfrenta dificuldades na coordenação e
de monitoramento do desempenho. orientação do Sistema de Planejamento, no
que se refere à comunicação com os órgãos
Desta forma, considerando as peculiaridades setoriais, às atividades de capacitação e ao
inerentes à administração pública brasileira, SIGPlan, cuja qualidade das informações exa-
pode-se considerar que, além dos sistemas minadas, em alguns casos, não refletia a
de monitoramento e avaliação do PPA e do real execução dos programas pelos órgãos
MDS, os sistemas de monitoramento do MEC responsáveis.
(Painel e InfraSig) e do Ministério da Saúde
(SISPlam, Sala de Situação em Saúde e Mais Como agravante, tem-se que o Sistema de
Saúde) atendem a tais critérios. Monitoramento e Avaliação do PPA não foi
capaz de dar cumprimento às funções que
lhe foram atribuídas, não obstante a sua
4. Conclusão normatização e estruturação em todos os
Com base nas evidências apresentadas neste níveis. Essa questão, no momento em que o
Levantamento, constatou-se que parte sig- sistema está sendo reestruturado, deve ser
nificativa dos órgãos setoriais (ministérios) objeto de acompanhamento pelos órgãos
ainda não implementou sistemas avaliativos de controle, com vistas em assegurar que o
próprios, sendo dependente dos instrumen- investimento até então realizado no desen-
tos de planejamento e gestão disponibiliza- volvimento da cultura e dos instrumentos
dos pelo órgão central de planejamento e de monitoramento e avaliação não sejam
orçamento, bem como das metodologias e descontinuados e perdidos.
do sistema de informação (SIGPlan) para o
monitoramento e avaliação de seus progra- Ademais, com as mudanças introduzidas
mas (15 dos 25 órgãos que responderam à pelo novo PPA (2012-2015), cujo modelo
pesquisa realizada). não mais utiliza o binômio programa-ação,
tampouco o SIGPlan, a descontinuidade
Esse fato é preocupante, na medida em que na utilização dos atuais instrumentos de
os diversos trabalhos realizados sobre a con- monitoramento e avaliação, para esta par-
sistência, eficácia e eficiência do modelo de cela considerável dos órgãos setoriais, de-
planejamento governamental, assim como do mandará do órgão central de planejamen-
modelo de gestão e avaliação demonstram to uma capacidade mais bem estruturada
inúmeras fragilidades que podem compro- para supervisionar, coordenar e apoiar os
meter os resultados dos programas e os obje- ministérios em diferentes níveis de organi-
tivos a serem atingidos. zação e maturidade.

Esse novo modelo de planejamento passa- No que se refere às demais avaliações reali-
rá a exigir a estruturação de mecanismos de zadas no âmbito dos órgãos setoriais, exceto
monitoramento que permitam mensurar os quanto ao MDS, constatou-se que elas ocor-
níveis de desempenho setorial, consideran- rem de forma fragmentada, sem o devido
do tanto o nível operacional como tático. acompanhamento da natureza dos serviços,
Essa constatação reforça a necessidade de do que foi realizado, como foi realizado, para
um acompanhamento minucioso dos proces- que foi realizado e como foram utilizados os
sos de monitoramento e avaliação que serão seus resultados. As UMAs não acompanham
construídos para assegurar a accountability ou sequer tomam conhecimento dessas ini-
governamental. ciativas, a menos que sejam informadas na
avaliação anual do PPA, no momento do pre-
Cabe destacar, ainda, que os programas de enchimento do questionário de autoavalia-
governo na forma utilizada para elaboração ção pelos gerentes dos programas.
do plano e dos orçamentos não represen-
tam, ampla e adequadamente, o modelo de Observou-se, ainda, que o entendimento co-
gestão e estruturação das ações implemen- mum das abordagens avaliativas é uma questão
tadas para execução das políticas setoriais. a ser consolidada no âmbito da administração
Desta forma, os indicadores de desempe- direta. Essa constatação é relevante, na medida
nho a eles associados não representam em que, no Brasil, não existem normas, diretrizes
efetivamente o resultado alcançado, tendo em ou padrões gerais que estabeleçam os requisi-
vista que não refletem adequadamente as tos necessários para regulamentar as atividades
mudanças associadas às intervenções go- de monitoramento e avaliação na administração
vernamentais (impacto). pública federal, ou seja, não existe uma política
nacional de avaliação que estabeleça o que é
Com isso há uma perda de informações na avaliação e monitoramento, quais os objetivos a
análise das avaliações de programas do serem atingidos com a realização dessas ativida-
PPA, com incremento nos custos transa- des, de que forma devem ser conduzidas, quais
cionais, em prejuízo da accountability das os elementos mínimos do produto final a ser
ações governamentais. elaborado e entregue, quem pode e deve exe-
72
cutar esse tipo de atividade e quais os critérios (MEC, MS, MAPA, MTur e MCT) e os sistemas
a serem utilizados para examinar e controlar a de monitoramento Painel de Controle (MEC),
adequação das atividades desenvolvidas. Sala de Situação em Saúde e Mais Saúde (MS).
O MDS é o único órgão na administração federal Em suma, pode-se concluir que os sistemas de
direta que dispõe de uma política de monitora- monitoramento e avaliação de programas no
mento e avaliação formalizada e de uma secre- âmbito da administração direta do poder execu-
taria instrumentalizada para realização dessas tivo federal ainda não estão plenamente instituí-
atividades, muito embora a principal estratégia dos, estruturados e implementados. Esta consta-
adotada pelo órgão para execução das avalia- tação não pode ser generalizada, considerando
ções seja a contratação desses serviços. que em alguns órgãos, como MDS, MEC e MS, em
diferentes níveis e formatos, foram organizados
Trata-se de um modelo inovador na adminis- os respectivos sistemas, com vistas no monito-
tração pública, que merece um estudo espe- ramento e/ou avaliação das ações governamen-
cífico para a identificação dos fatores neces- tais, além do modelo único estabelecido pelo
sários e determinantes para a sua instituição, MPOG para todos os órgãos públicos.
bem como da sustentabilidade dos processos
constituídos de monitoramento e avaliação, Desta forma e considerando o processo em
custos e utilização com vistas em identificar curso de reestruturação do modelo de pla-
os benefícios gerados e a adequação desse nejamento e gestão governamental a ser
modelo para disseminação em outros órgãos. implementado com o novo PPA, é oportuno
que este Tribunal desenvolva mecanismos
Por outro lado, merecem destaque outras no intuito de acompanhar a evolução da im-
iniciativas implementadas em alguns órgãos plementação dos instrumentos de monitora-
da administração direta, em especial quanto mento e avaliação, dada a sua relevância para
à implementação de sistemas de monitora- o controle do desempenho e dos resultados
mento organizados no âmbito dos modelos das ações governamentais, com vistas na ade-
de planejamento e gestão dos respectivos quada governança, melhoria da gestão e pro-
ministérios, como, por exemplo, os InfraSigs moção da accountability dos gastos públicos.

ALKIN, Marvin (Org). Evaluation Roots: tracing BRASIL. Ministério do Planejamento Orçamento
theorists’s views and influences. California: e Gestão. Manual técnico de orçamento MTO
Sage Publications, 2004. 2011. Brasília, DF: Secretaria de Orçamento Fe-
deral, 2010a.
BRASIL. Ministério do Planejamento Orçamento
e Gestão. Manual de Avaliação: plano pluria- BRASIL. Ministério do Planejamento Orçamento
nual 2004-2007: ano base 2004. Brasília, DF: e Gestão. Plano plurianual 2008-2011: exercí-
Secretaria de Planejamento e Investimentos cio 2010: ano base 2009: manual de Avaliação.
Estratégicos, 2004. Brasília, DF: Secretaria de Planejamento e Inves-
timentos Estratégicos, 2010b.
e Gestão. Manual de Avaliação: plano plurianual BRASIL. Ministério do Planejamento Orçamento
2004-2007 exercício 2006: ano base 2005. Bra- e Gestão. Plano plurianual 2008-2011: exercí-
sília, DF: Secretaria de Planejamento e Investi- cio 2011: ano base 2010: manual de Avaliação.
mentos Estratégicos, 2006. Brasília, DF: Secretaria de Planejamento e Inves-
timentos Estratégicos, 2011a.
e Gestão. Manual de Avaliação: plano plurianual BRASIL. Ministério do Planejamento Orçamen-
2004-2007 exercício 2007: ano base 2006. to e Gestão. Orientações para Elaboração do
Brasília, DF: Secretaria de Planejamento e Inves- Plano Plurianual 2012-2105. Brasília, DF:
timentos Estratégicos, 2007. Secretaria de Planejamento e Investimentos
Estratégicos, 2011b.
e Gestão. Manual de Avaliação: plano plurianual BRASIL. Ministério da Saúde. Sistema de Pla-
2004-2007 exercício 2008: ano base 2007. nejamento do SUS: uma construção coletiva
Brasília, DF: Secretaria de Planejamento e Inves- organização e funcionamento. Brasília, DF:
timentos Estratégicos, 2008. Subsecretaria de Planejamento e Orçamento,
2009b.
e Gestão. Manual de Avaliação: plano plurianual BRASIL. Ministério da Saúde. Mais gestão é mais
2008-2011 exercício 2009: ano base 2008. saúde: governança para resultados no Ministé-
Brasília, DF: Secretaria de Planejamento e Inves- rio da Saúde. Brasília, DF: Secretaria Executiva,
timentos Estratégicos, 2009a. 2009c. (Textos Básicos em Saúde. Série B).
74
DUIGNAN, Paul. Mainstreaming Evaluation MARTINS, Humberto F. Fortalecimiento de los
or Building Evaluation Capability? Three Key sistemas de monitoreo y evaluación (M&E) en
Elements. New Directions for Evaluation. San América Latina: informe nacional Brasil. Banco
Francisco, n.99, fall, p.7-21, 2003. Mundial e CLAD, 2007. (Documentos Estúdios
de Casos del CLAD, n. 3).
FERRARI, Rafael M. Uma ideia cujo tempo che-
MATSUDA, Yasuhiko; SHEPHERD, Geoffrey;
gou: a institucionalização da avaliação de po-
WENCESLAU, Juliana. Gestão e avaliação no
líticas públicas em educação no contexto do
contexto do Plano Plurianual (PPA): institucio-
governo federal. Dissertação – Programa de
nalização sem impacto? Banco Mundial, 2006.
Pós-Graduação em Administração, Faculdade
de Economia, Administração e Contabilidade, MOREIRA NETO, Diogo de. Novos institutos
Universidade de Brasília, Brasília, 2010. consensuais da ação administrativa. Revista
de Direito Administrativo, Rio de Janeiro, v.
FURUBO, Jan-Eric; RIST, R. C; SANDAHI, Rolf. In- 231, p. 129-156, 2003.
ternational Atlas of Evaluation. New Brunswi- MOYNIHAN, Donald P. The Dynamics of Perfor-
ck, NJ: Transaction Publishers, 2002. mance Management: constructing information
and reform. Washington, District of Columbia:
GRAU, Nuria C; BOZZI, Sonia O. Fortalecimento de Georgetown University Press, 2008.
los sistemas de monitoreo y evaluación (M&E)
en América Latina. Banco Mundial e CLAD, 2008. PATTON, Michael Q. Utilization-Focused Evaluation.
4. ed. California: Sage Publications, Inc., 2008.
(Documentos Estúdios de Casos del CLAD, n. 3).
SILVA, Ricardo T. Relatório Técnico: eficiência e
KUSEK, Jody Z; RIST, Ray C. Ten Steps to a Re-
eficácia da ação governamental: uma análise
sults-Based Monitoring and Evaluation Sys-
comparativa de sistemas de avaliação. Brasília:
tem. Washington: The World Bank, 2004. Instituto de Pesquisa Econômica Aplicada, 2002.
LEEUW, Frans L.; FURUBO, Jan-Eric. Evaluation VAITSMAN, Jeni; RODRIGUES, Roberto W. S.;
Systems: What are They and Why Study Them?, SOUSA, Rômulo. O Sistema de Avaliação das
Evaluation, v. 14, n. 2, p. 157-169, 2008. Políticas Sociais: a experiência do Ministério do
Desenvolvimento e Combate à Fome do Brasil.
LÓPEZ et al. (Ed.). Hacia la institucionalización
Brasil: UNESCO, 2006.
de los sistemas de monitoreo y evaluación na
América Latina y el Caribe: II conferência regio- WEISS, Carol H. Evaluation. 2. Ed. Upper Saddle
nal de M&E. BID, 2007. River: Prentice-Hall, Inc., 1998.

Monitorar a prática
para aprimorar o que se
aprende: examinando
sistemas internacionais
de M&A como
benchmarking para a
experiência brasileira
Gustavo Guberman1
Glauco Knopp 2
1 Doutor em Administração pela Fundação Getulio vargas e mestre em Gestão Empresarial pela
mesma escola. é graduado em Economia pela universidade de taubaté, onde também realizou um
MBA, e intendência pela Academia Militar das Agulhas negras. Atualmente é Analista do Banco
Central do Brasil.
2 Mestre em Administração Pública pela EBAPE/FGv e bacharel em Administração de Empresas
pela ESPM. é consultor sênior em Gestão para Resultados na Administração Pública pelo instituto
76
Publix.
Resumo
Este artigo tem por objetivo apresentar diversas práticas internacionais
de Monitoramento & Avaliação (M&A), particularmente dos Estados Uni-
dos, Chile, Colômbia, Austrália e México, bem como algumas experiências
nacionais, como as adotadas em alguns programas públicos e a adotada
no estado de Minas Gerais. Das experiências internacionais, o foco prin-
cipal deu-se sobre quatro categorias de análise: (1) os usos que são feitos
das informações levantadas, (2) os clientes dos sistemas, (3) os incentivos
gerados pelos sistemas e (4) os tipos de avaliação integrantes. Destacam-
-se a independência da organização
responsável pelo M&A, a dependência Abstract
de algumas atividades governamen- The paper aims to present various international Monito-
tais do uso dos resultados, o emprego ring & Evaluation (M & E) practices, particularly of the
simultâneo de vários tipos de avalia- United States, Chile, Colombia, Australia and Mexico, as
ção, entre outros fatores, como sendo well as some national experiences, like those used in some
essenciais para o sucesso da prática. public programs and adopted in the state of Minas Gerais.
Diante do exposto nas análises das Of international experiences, the main focus was given on
four categories of analysis: (1) the uses that are made of
práticas, foi possível fornecer reco-
the information collected, (2) customers of the systems,
mendações quanto à prática de M&A
(3) the incentives generated by the systems and (4) types of
para o contexto brasileiro, conside- evaluation adopted. Emphasize the independence of the
rando suas peculiaridades, como as organization responsible for M & E, dependence of some
barreiras técnicas e institucionais government activities to use the results, the simultaneous
existentes, a estrutura de incentivos use of multiple types of assessment, among other factors,
e o papel da média gerência. O que as as essential to the success of the practice. Given the above
experiências apresentadas ensinam é analysis in practice, it was possible to provide recommen-
que a atenção a peculiaridades locais, dations regarding the practice of M & E in the Brazilian
context, considering its peculiarities, such as technical
a atuação de forma consistente, pla-
and institutional barriers exist, the incentive structure
nejada e observando todos os ele-
and the role of middle managers. What the experience
mentos pertinentes, são fundamentais teaches is that attention to local peculiarities, the acting
para se lograr êxito e para a obtenção consistently planned and observing all relevant factors
de elementos importantíssimos para o are essential to achieve success and to obtain information
aprimoramento da gestão pública. critical to improvement of public administration.
Palavras-chave:
Monitoramento; Avaliação; Políticas públicas; Benchmarking; Accountability; Aprendizagem
organizacional

Monitorar a prática para aprimorar o que se aprende: examinando sistemas internacionais de M&A como benchmarking
para a experiência brasileira
77
Introdução
Nos últimos anos, o monitoramento e a É relevante destacar que um fator importan-
avaliação de políticas, programas e proje- te para a institucionalização dos sistemas de
tos têm ganhado notoriedade e relevância M&A é a utilização intensiva das informações
no setor público brasileiro, a reboque da por ele geradas (MACKAY, 2006; CUNILL GRAU;
modernização da administração pública BOZZI, 2008), ou seja, é essencial construir os
empreendida a partir de meados da déca- sistemas de monitoramento e avaliação sob a
da de 90 do século passado, calcada nos perspectiva da demanda (dos potenciais usuá-
princípios de um Estado orientado para o rios de seus produtos), mais que da oferta. Por
cidadão, focado em resultados, accounta- institucionalização entende-se “a criação de
ble, eficiente, eficaz e efetivo. Isso, soma- um sistema de M&A cujos resultados sejam va-
do à própria complexidade dos problemas lorizados positivamente pelas principais par-
modernos, maiores pressões da sociedade, tes interessadas e sejam utilizados na procura
experiências bem-sucedidas pelo mundo e do bom governo, desde que sempre haja uma
influência de organismos multilaterais, traz demanda suficiente da função de M&A para
à tona a necessidade de se avaliar o desem- garantir seu financiamento e sua sustentação
penho da instituição Estado (GUBERMAN; em um futuro possível” (MACKAY, 2006:5). Al-
KNOPP, 2009a). guns requisitos para a institucionalização dos
sistemas de M&A no setor público são a utili-
A importância do M&A de políticas públicas dade e credibilidade das informações geradas,
reside no fato de ser um processo sistemáti- a forte estrutura de incentivos e a capacidade
co cujo produto (informação confiável, útil e de integração à agenda de planejamento e or-
qualificada) pode subsidiar o planejamento, çamento governamentais.
a implementação das intervenções governa-
mentais, suas reformulações e ajustes, de- Com o propósito de fornecer subsídios para
cisões sobre a manutenção, correção ou in- o desenvolvimento e consolidação de siste-
terrupção do curso das ações e, até mesmo, mas de monitoramento e avaliação de polí-
sobre a priorização de esforços e alocação ticas e programas públicos em governos no
orçamentária. É um instrumento fundamental Brasil, este estudo foi elaborado, tomando-
para a promoção da aprendizagem organiza- -se como referência as experiências interna-
cional, para a melhoria da eficiência do gasto cionais de M&A já consagradas, com desta-
público, da qualidade da gestão, para a trans- que para as dos governos do México, Chile,
parência e accountability. Colômbia e Estados Unidos.
78
Experiências
internacionais de M&A
Nesta seção, será apresentado o contexto in- —— estão integrados ao ciclo de planeja-
ternacional de M&A de políticas públicas. As mento e orçamento governamental
informações aqui disponibilizadas tiveram (integração transversal) e possuem
como fonte de consulta alguns estudos e pu- alto grau de diversificação instrumen-
blicações do Banco Mundial (BRICEÑO, 2010; tal e funcional, dispondo de ferramen-
CASTRO, 2009; MACKAY, 2006; 2007; 2010). tas que atendem às necessidades de
informação de diversos estágios do
ciclo de política pública e do ciclo de
Diversos países, desenvolvidos ou em desen-
vida dos programas;
volvimento, já possuem, em maior ou menor
grau de maturidade e complexidade, sistemas —— possuem bom grau de coerência inter-
de monitoramento e avaliação de suas polí- na (integração e coordenação interna
ticas, programas e projetos governamentais. dos subsistemas integrantes do siste-
Países como Colômbia, México, EUA, Austrália, ma de M&A);
Inglaterra, Canadá, dentre outros, possuem —— as informações geradas são disponibiliza-
sistemas de M&A de políticas e programas, das para o órgão central responsável pela
com as seguintes características: coordenação do sistema de M&A e arma-
zenadas em sistemas de informações;
—— iniciam a partir de um diagnóstico de
—— possuem incentivos (cenoura, porrete
capacidades e necessidades;
e sermão) para garantir a utilização das
—— a existência de uma forte demanda do informações por eles geradas;
Poder Executivo ou do Poder Legisla-
—— as informações são utilizadas, em maior
tivo por informações é crítica para seu
ou menor grau, nos processos centrais
sucesso e institucionalização;
de governo, para fins de redesenho ou
—— estão inseridos em estruturas organiza- melhorias na gestão e processos dos
cionais fortes no âmbito do Poder Exe- programas, alocação orçamentária e/ou
cutivo, responsáveis por sua operacio- transparência (interna e/ou externa).
nalização, coordenação e controle;
Como principais benefícios da boa adoção
—— possuem um patrocinador poderoso de um sistema de M&A, destacam-se: o for-
(Presidente da República, Ministro); talecimento das relações de prestação de
contas para dentro e para fora do governo; o
—— possuem mecanismos que garantem
incremento da transparência na gestão públi-
a credibilidade das informações por
eles geradas; ca; uma tomada de decisão mais eficiente; o

79
fomento ao intercâmbio de ideias e experiên- ma de M&A não pode ser entendida como um
cias sobre os programas e projetos públicos; fim em si mesmo, tendo obrigatoriamente que
a implementação de inovações e a geração de estar atrelado ao processo de planejamento e
conhecimentos na administração pública. gestão das políticas públicas”, ressaltando a im-
portância do M&A na geração de valor público
a partir do uso das suas informações para as
Na perspectiva de uma gestão orientada para
tomadas de decisões gerenciais e estratégicas.
resultados, como destaca Legovini (2009), os
sistemas de M&A de políticas e programas no
A seguir, será apresentada uma síntese das
setor público devem estar orientados para
experiências de M&A em alguns países, com
gerar aprendizagem organizacional e subsi-
vistas em oferecer aos governos no Brasil
diar melhorias na intervenção estatal, possi-
possibilidades de comparação e adaptação
bilitando, assim, a agregação de valor público.
desses modelos às suas necessidades e con-
texto, subsidiando o desenho de suas iniciati-
Mais importante que avaliar olhando
vas no âmbito de sua realidade institucional.
para trás, ou seja, buscando respon-
der se um determinado projeto apre-
sentou resultados, é olhar para frente, Essa síntese apresenta as experiências em
buscando melhorar a qualidade dos M&A do Chile, Colômbia, México, EUA e Austrá-
programas, e constituir instituições lia, tendo em vista o órgão responsável ou pa-
governamentais capazes de construir trocinador do sistema, os usos da informação
políticas públicas com base em evi- gerada com o monitoramento e a avaliação
dências (LEGOVINI, 2009).
das políticas, os incentivos para que os envol-
Nesse mesmo sentido, Guimarães e Campos vidos estejam comprometidos com o sistema e
(2010:2) afirmam que “a criação de um siste- os tipos de avaliações que o integram.
80
■■ Tabela 1: Experiências internacionais de M&A de projetos e
programas governamentais
CHILE COLÔMBIA MÉXICO EUA AUSTRÁLIA
- Ministério das - Ministério do Plane- - Ministério da Fazenda - Escritório de - Ministério das

Finanças jamento / Escritório e Crédito Público Gerenciamento Finanças
Órgão da Presidência da - Ministério da Função e Orçamento da
Responsável/ República Pública Presidência da
Patrocinador - Consejo Nacional de República
Evaluación de Políticas
Sociales (Coneval)
- Ex ante cost-benefit - Indicadores de - Matriz de indicadores - Avaliações rápidas - Evaluations of

analysis (Análise de desempenho - Avaliação de pro- de projetos (Pro- government pro-
custo benefício ex - Avaliação de gramas (de desenho, gram Assessment grams (Avaliação
ante) impacto de processos e de Rating Tool - PART) dos Programas
- Performance indica- - Avaliação de custo- impacto) Governamentais)
tors (Indicadores de benefício - Avaliação anual de - Performance re-
desempenho) - Avaliação da opera- unidades setoriais porting (Relatório
- Comprehensive ção/processo - Avaliações rápidas de desempenho)
management reports - Avaliação da produ- de projetos (Evaluación - Avaliações rá-
Tipos de
(Relatório de Gestão tividade de Consistencia y pidas de projetos
avaliações
Global) - Avaliações rápidas Resultados) (executivas)
que integram
- Rigorous impact de projetos (Evaluaci-
o sistema de
evaluations (Avaliação ón Ejecutiva – E2)
M&A
de impacto)
- Comprehensive spen-
ding reviews (Análise
das despesas)
- Avaliações rápidas
(executivas) de
projetos (Evaluación
de Programas Guberna-
mentales)
- Controle orçamentário - Controle e decisões - Controle e decisões - Planos de melho- - Decisões orça-
- Melhoria da perfor- orçamentárias orçamentárias ria entregues com a mentárias
mance dos objetivos e - Melhoria da perfor- - Melhoria dos proces- avaliação finalizada - Melhoria na
metas das políticas e mance dos objetivos e sos, gestão e desenho (implementação eficiência opera-
programas metas das políticas e dos programas pelos é monitorada cional dos órgãos
programas órgãos e empresas pelo OMB)
Usos da infor-
públicas - Requisição de
mação
orçamento deve ser
justificada usando os
resultados do PART
- Uso pelo Con-
gresso Nacional

81
CHILE COLÔMBIA MÉXICO EUA AUSTRÁLIA
- Comitê do M&A - Patrocinador - Criou-se um ins- - Ranking de - Ranking de

no Ministério força forte e comprome- trumento normativo desempenho desempenho
os responsáveis pe- tido: Presidente da com procedimen- (efetivo, mo- - Redefinição
los órgãos a firma- República tos gerais para deradamente das iniciativas
rem compromissos - Base de dados as avaliações e efetivo, adequa- políticas
de mudanças nos disponibilizada seus usos e uma do, inefetivo,
processos internos e acessada pelo instância intermi- resultados não
e nos programas, Presidente da nisterial colegiada demonstrados)
com base nas República com para acompanhar publicado no site
recomendações informações como: a implementação do governo
formuladas pelas objetivos, estraté- dos aspectos sus-
avaliações gias, linha de base cetíveis de melhora
- Encontros entre e sua trajetória e apontados pelas
o Ministério da Fa- custo do programa avaliações
zenda e escritórios - Informações uti- - Orçamento basea-
de orçamento dos lizadas pelo Presi- do no desempenho
órgãos para discutir dente nas reuniões dos programas
resultados gerenciais (1x ao - Publicização dos
Incentivos - Informações são mês) com Ministros resultados do con-
enviadas anualmen- - Existência de um junto de avaliações
te ao Legislativo e Comitê Interseto- para o Legislativo
usadas por este para rial de Avaliação (usados para fins
aprovar orçamento - Cobrança, para orçamentários),
os gerentes, de sociedade civil e
explicações, via diversos órgãos do
relatório, sobre o Executivo
baixo desempenho
- Orçamento
baseado no
desempenho dos
programas
- Site com resulta-
dos das avaliações
(http://www.sigob.
gov.co/ini)
- Informações
são enviadas ao
Legislativo
Fonte: Elaborado pelos autores.
Verifica-se, pela tabela 1, que as iniciativas de Fazenda e Crédito Público e do Ministério da

M&A de políticas e programas governamen- Função Pública e seus parceiros. Uma das im-
tais têm sido conduzidas em diferentes con- plicações deste modelo é a maior confiança
figurações institucionais. No caso do México, na imparcialidade e independência das ava-
que representa uma experiência em constru- liações, mas se enfrenta o grande desafio de
ção, as avaliações dos programas e políticas coordenação entre os três líderes do sistema
públicas têm sido conduzidas principalmente de M&A e de integração do conjunto de resul-
pelo Consejo Nacional de Evaluación de Políti- tados nos processos decisórios. Uma síntese
cas Sociales (Coneval), uma instituição quase- sobre a experiência mexicana, com questões
82 -independente, com apoio do Ministério da que podem inspirar o aprimoramento do sis-
tema de M&A de governos brasileiros, encon- informações geradas pelo sistema. No caso
tra-se destacada na próxima subseção deste chileno, as informações têm sido utilizadas
documento. para determinar cortes e redesenho de pro-
gramas, melhoria nos processos internos de
O caso do Chile representa outra experiência gestão dos órgãos, alocações orçamentárias,
importante em M&A de políticas, programas entre outras modificações. A figura 1, a seguir,
e projetos governamentais na América La- ilustra as mudanças provocadas pelo sistema
tina, especialmente em relação ao uso das de M&A nos últimos anos:
■■ Figura 1: Tipos de mudanças provocadas pelo sistema de M&A

no Governo do Chile, no período 2000-2008
Programas
eliminados ou
completamente
recolocados ou Realocação
absorvidos institucional
7% 6%
Menores ajustes
23% Modificações no
desenho e gestão dos
processos internos
37%
Redesenho
substantivo dos
programas
27%
Fonte: Mackay, 2007.

Monitorar a prática para aprimorar o que se aprende: examinando sistemas internacionais de M&A como benchmarking para
a experiência brasileira
83
É importante destacar que, de uma forma geradas são utilizadas para fins de gerencia-
geral, as experiências internacionais de sis- mento, orçamento, promoção de transparên-
temas de M&A focalizam clientes internos e cia, accountability e controle social, como sin-
externos ao governo e que as informações tetizado na tabela 2, a seguir:
■■ Tabela 2: Clientes e usos do sistema de M&A governamental
CLIENTES USOS
- Órgãos (da adm. direta, indireta ou empre- Gerenciamento:

sas públicas) executores do projeto
- Órgãos centrais de planejamento e/ou - Revisar processos internos dos programas
orçamento - Mudar e aperfeiçoar práticas gerenciais
- Ministérios presidenciais com orientação para resultados
- Escritórios setoriais de projetos - Melhorar o desenho de programas
- Gerentes e equipes dos projetos - Melhorar o portfólio de programas
- Poder Legislativo - Gestão do orçamento público
- Controlar/melhorar a eficiência e a efetivi-
INTERNOS
dade da alocação dos recursos orçamentários
Transparência:
Prover informação sobre o desempenho dos

programas para todos os órgãos e setores do
governo (accountability pode prover fortes
incentivos para a melhoria dos programas)
- Sociedade em geral (ONGs, universidades, - Promover transparência, accountability e

institutos de pesquisa, mídia, empresas com controle social
fins lucrativos etc.)
EXTERNOS - Agências de financiamento
- Bancos Multilaterais de Desenvolvimento
- Doadores
Fonte: Adaptado de Briceño, 2010 e Mackay, 2010.
O Banco Mundial destaca, em seus estudos ferramentas essenciais no ciclo de políti-

de experiências de M&A pelo mundo, que ca pública, tais como o desenho lógico de
as informações geradas por esses sistemas programas e análise de sua consistência,
possibilitam a formulação e redesenho de avaliações executivas, de indicadores, de
políticas públicas, com base em evidências processos e de impacto, como ilustrado na
e resultados, e sugere a adoção de algumas figura:
84
■■ Figura 2: Ferramentas de M&A e ciclo de política pública
Ÿ Análise de viabilidade
socioeconômica
Ÿ Diagnóstico da situação
Ÿ Marco lógico
Planejamento Orçamento
Avaliação Monitoramento
Ÿ Avaliação Executiva
Ÿ Avaliação de Indicadores Ÿ Acompanhamento do
Ÿ Avaliação de Processo Marco Lógico
Ÿ Avaliação de Impacto
Fonte: Adaptado de Banco Mundial, s/d.
As experiências internacionais e os estudos perspectiva de uma gestão baseada em resul-

do Banco Mundial inspiram a necessidade tados, que culmina nas práticas de orçamento
de desenvolver em diversos governos um para resultados e da feitura de políticas públi-
sistema que de fato cubra o ciclo da políti- cas com base em evidências. Nesse sentido, o
ca pública em todas as suas fases, que for- modelo de M&A de políticas e programas do
neça informações úteis à tomada de decisão governo do México é um exemplo que serve
dos gestores públicos e que tenha respaldo como referência na América Latina, como des-
institucional e legal, em consonância com a tacado a seguir.

85
A construção de um
sistema de M&A: o caso
do México
Esta seção sintetiza uma publicação do Banco década de 90 do século passado, com a aber-
Mundial (CASTRO et al., 2009) sobre a expe- tura política e com um conjunto de reformas
riência do México na institucionalização de um de modernização da gestão pública, somadas
sistema de monitoramento e avaliação. A es- à realização de uma avaliação de impacto de
colha pelo modelo mexicano como referência um importante programa social daquele go-
para análise deu-se pelos seguintes motivos: verno (Progresa/Oportunidades, de combate
por ser um sistema de M&A bem-sucedido e à pobreza), introduziu-se a ideia de uma ges-
relativamente institucionalizado, sendo uma tão pública orientada para resultados.
das principais referências nas Américas; e por
nele estarem inseridas diversas práticas de Desde então, o governo mexicano vem avan-
avaliação, cobrindo todo o ciclo de políticas çando na construção e institucionalização
públicas e de vida dos programas. Embora a de um sistema de M&A, impulsionado por
experiência mexicana não possa ser transpos- diversos fatores, dentre os quais: a exigên-
ta integralmente para a realidade nacional e cia do Congresso, nos anos de 1998 e 1999,
apresente algumas limitações, verifica-se que respectivamente, de que todos os programas
alguns de seus elementos e lições devem me- federais que oferecessem subsídios deveriam
recer atenção dos governos brasileiros. preparar regras de operação – com informa-
ções básicas sobre o desenho do programa,
De acordo com o Banco Mundial, o México é objetivos, indicadores de desempenho, pú-
um exemplo de transição de um modelo de blico-alvo e mecanismos de operação – e de
avaliação pouco abrangente, com foco em que estes deveriam passar, anualmente, por
áreas específicas da administração, para um uma avaliação externa; a criação de um apa-
sistema mais sofisticado de avaliação, que rato legal e normativo forte; a criação de um
hoje abrange todo o Governo Federal com conjunto de instituições e a instituição legal
metodologias diferentes, aumentando a ca- de um orçamento baseado em resultados.
pacidade e interferência na tomada de deci-
sões do governo.
1. O Papel do Coneval
Dos anos 1970 a 1990, o governo mexicano Um avanço importante para a instituciona-
dispunha de iniciativas dispersas e ad hoc de lização desse processo se deu, a partir de
avaliação em setores específicos com respal- 2004, com a criação da Lei de Desenvolvi-
do de agências internacionais, como o Banco mento Social, com a qual foram introduzidos
Mundial e o Banco Interamericano de Desen- padrões de M&A internacionalmente aceitos
volvimento. A partir da segunda metade da e foi criado o Conselho Nacional de Avalia-
86
ção da Política Social (Coneval) como uma Inicialmente, o Coneval desenhou um portfólio
instituição tecnicamente autônoma e relati- de avaliações dirigido a satisfazer as necessi-
vamente independente – o que lhe conferiu dades específicas de informação de resulta-
credibilidade interna e externa ao governo. dos de diferentes usuários dentro e fora do
Apesar de fazer parte do Poder Executivo e governo. O portfólio inclui uma combinação
de seu diretor ser designado pelo Governo de técnicas de avaliação desenhadas ou
Federal, o Coneval é dirigido por um colegia- adaptadas para cobrir os distintos níveis da
do independente, composto por acadêmicos cadeia de implementação dos programas
eleitos democraticamente, com papel de todo governo, a saber: avaliação de desenho;
mar as principais decisões do órgão, desde as avaliação de processos; avaliação executiva
definições de metodologias de avaliação e a (Consistencia y Resultados); avaliação de indi-
revisão dos seus resultados até decisões admi- cadores e avaliação de impacto.
nistrativas. As principais atribuições do Coneval
são: estabelecer as orientações gerais e crité- As informações geradas pelas avaliações são
rios e medir os resultados nacionais em matéria dirigidas a diversos públicos, interno (ministé-
de redução de pobreza; normalizar, estabelecer rios, programas, Congresso) e externo (socieda-
metodologias, conduzir e/ou coordenar a ava- de civil organizada e cidadãos) ao governo, e
liação dos programas sociais no Governo Fede- estão sendo publicadas de maneira agregada
ral; oferecer assistência técnica e capacitação (por Ministério) no sítio eletrônico do Coneval.
aos ministérios; preparar e consolidar informes Os diversos tipos de avaliações conduzidas/co-
de avaliação e difusão de seus dados ao Con- ordenadas pelo Coneval, de acordo com o ciclo
gresso, entes federados e sociedade civil. de política, estão dispostos na figura 3, a seguir:
■■ Figura 3: Tipos de avaliação do sistema de M&A do México

Avaliação de Avaliação de Consistencia y Avaliação de
desenho Resultados (avaliação executiva) impacto
Desenho Insumos Atividades Produtos Efeitos Impactos
Avaliação de processos
Avaliação de
indicadores
Fonte: Adaptado de Castro et al., 2009.

87
Com o fim de implementar seu diversificado ção dos resultados das avaliações, como um
portfólio de avaliações, o Coneval, o Ministério mecanismo de acompanhamento para priori-
da Fazenda e Crédito Público e o Ministério da zar e promover a utilização das recomenda-
Função Pública criaram e publicam os Progra- ções de avaliações externas.
mas Anuais de Avaliação. Tais programas pos-
sibilitam o planejamento anual das atividades Estas orientações identificam os atores e instru-
de avaliação, assegurando que as políticas a mentos e estabelecem um processo de moni-
serem avaliadas sejam selecionadas estrategi- toramento em quatro etapas: (1) uma vez que
camente e as avaliações sejam realizadas com a avaliação é revista e aprovada pelo programa
base em métodos tecnicamente validados. ou agência, são selecionadas as áreas de me-
lhoria em termos de sua relevância e viabilida-
Esses programas estabelecem os termos de de de implementação. Posteriormente, (2) as
referência das avaliações (publicados no sí- recomendações são classificadas por tipo de
tio eletrônico do Coneval), com padrões re- ator envolvido na solução, dependendo da sua
lacionados tanto aos procedimentos quanto esfera de influência (por exemplo, nível do pro-
ao conteúdo, servindo como um guia técnico grama, institucional, interinstitucional), e, em
detalhado para os avaliadores e funcionários seguida, priorizadas em termos de importância:
do governo do México. Tais padrões contêm alta, média ou baixa. Com base nestas etapas, (3)
responsabilidades, prazos, produtos mínimos é solicitado aos programas o desenvolvimento
a serem entregues pelos avaliadores, entre de um plano de implementação em dois níveis
outros aspectos. A adoção de termo de re- (programa e instituição), que deve descrever as
ferência padrão para cada tipo de avaliação atividades e prazos para a implementação das
contribuiu sobremaneira para reduzir a hete- recomendações de ambos os níveis. Por fim,
rogeneidade na qualidade das avaliações na (4) é solicitada a disseminação dos planos de
administração pública mexicana. implementação das recomendações no site de
cada Ministério, tendo as unidades de avaliação
de cada Ministério responsáveis por esse pro-
2. O uso das informações do cesso. Todo o acompanhamento da implemen-
sistema de M&A do México tação das recomendações das avaliações é feito
Como forma de garantir que os dados das ava- por um Grupo Permanente de Coordenação, Ges-
liações chegassem às mãos dos tomadores de tão por Resultados e Avaliação, composto pelo
decisão do governo e fossem utilizados, em Coneval, Ministério da Fazenda e Crédito Públi-
2007, foram lançadas, pelo Coneval em con- co e Ministério da Função Pública.
junto com o Ministério da Fazenda e Crédito
Público e com o Ministério da Função Pública, Uma maior utilização dos resultados da ava-
as normas de Orientações Gerais para a Ava- liação também foi impulsionada pelo Minis-
liação dos Programas Federais (Lineamientos tério da Fazenda e Crédito Público e pelo Ga-
Generales para la Evaluación de los Programas binete do Presidente da República, por meio
Federales). Além disso, foram emitidas, em ou- da implementação do orçamento baseado
88 tubro de 2008, as orientações para a utiliza- em resultados – os dados das avaliações são
solicitados ao Coneval para a priorização dos díspares, ou se obtém uma descrição demasia-
recursos orçamentários e para a elaboração damente longa, sem que isso contribua para o
do orçamento do ano seguinte. objetivo da descrição e, ainda, chegando a nar-
rativa a perder-se. O que é possível fazer para
Finalmente, é importante ressaltar que o sis- se minimizar os riscos? Delimitar bem o que e
tema de M&A do governo do México está ar- o como será apresentado.
ticulado com um sistema ainda mais comple-
xo, o Sistema de Avaliação de Desempenho Considerando as circunstâncias expostas, bem
(monitoramento e avaliação de resultados de como o fato de que o foco deste artigo são as
programas), por meio de uma complexa siste- experiências internacionais, optou-se pela se-
mática de coordenação institucional. guinte lógica de apresentação: serão tratadas
características culturais/institucionais que de-
O potencial de aprendizagem a partir do co- lineiam o panorama geral sobre o qual se ope-
nhecimento das experiências internacionais ra. Em seguida, serão apresentados casos que
fica mais nítido ao contrastá-las com as ex- reforçam estas e casos que as desafiam, ilus-
periências nacionais. Para tanto, na próxima trando bem o quadro heterogêneo da prática
seção, discute-se a prática de M&A no Brasil. de monitoramento e avaliação no país.
A estrutura na qual as organizações públicas

M&A no Brasil operam é marcada pelas influências das ocor-
Abordar a prática do M&A no Brasil traz o mes- rências do personalismo, formalismo e patri-
mo grande desafio que afeta a apreciação de monialismo (GUBERMAN, 2010).
diversos temas relacionados ao nosso país:
como lidar com a heterogeneidade existente? Os desdobramentos decorrentes destas
ocorrências são diversos e atinentes a dis-
Tanto o que há de Estado da Arte quanto o tintos aspectos das consequências da ação
de mais primário convivem por vezes em uma das organizações públicas, quer seja se tra-
mesma organização. tar da operação de política pública, do ge-
renciamento de projeto ou de alguma ativi-
Diante do panorama encontrado, qualquer dade corrente.
tentativa de descrevê-lo recai obrigatoriamen-
te em um dos seguintes riscos: ou se é genéri- É possível, porém, parcialmente isolar e anali-
co demais ao se tentar sintetizar realidades tão sar o que se relaciona à prática de M&A.

89
Basicamente, o fator mais preponderante de Este modelo de ação converge com o que
influência é o formalismo, entendido como dizem as pesquisas sobre os BMDs, pois
a aceitação formal das regras e normas, mas justamente as mudanças advindas das con-
distorcidas na prática social; ou ainda, à dis- dicionalidades conflitam com os padrões lo-
crepância entre o comportamento e as nor- cais até então reinantes, podendo fazer com
mas (PRATES; BARROS, 1997). que os agentes locais reajam às condições
(HIRSCHMANN, 1999), de tal forma que estas
Esta aceitação formal, no caso, diz respeito ao possam mesmo ser consideradas ineficazes
M&A, bem como tem uma relação muito grande (GILBERT et al., 1999; STIGLITZ, 1999).
com a influência de Bancos Multilaterais de De-
senvolvimento (BMD) na gestão pública. Foram Na apreciação da prática de M&A, em boa par-
estes que o introduziram no bojo das chamadas te do país, tem-se exatamente onde uma das
condicionalidades circunscreventes aos instru- facetas da ineficácia se revela. Por um lado,
mentos contratuais de financiamento. tem-se a prática “imposta”: a obrigação da
adoção de sistemas de M&A. Por outro, o for-
Afonso e Guberman (2007) analisaram o efeito malismo, a aceitação formal divergente da prá-
dessas condicionalidades, considerando o fato tica real. Desta soma vetorial, tem-se um qua-
dos BMDs serem, ao mesmo tempo, organiza- dro bastante comum de monitoramento que
ções, agentes reguladores e intermediários de não acompanha e avaliação que não aprecia.
agentes públicos e privados, além de serem uti-
lizados como mecanismo de influência de paí- Dois casos emblemáticos podem ser vistos
ses em outros, i.e., eles operam em um ambien- em Guberman e Knopp (2009a; 2009b) e em
te institucional muito peculiar e geram efeitos Guberman (2010).
para aqueles com os quais se relacionam.
No primeiro3, pode-se acompanhar a não
No caso brasileiro, no geral, a aceitação das con- evolução do sistema de M&A. Inicialmente,
dicionalidades, por sua característica ex ante, mesmo havendo objetivos e metas definidos
i.e., necessária para a obtenção de financiamen- e profissionais destacados no organograma
to, tem seu incentivo reduzido à medida que do projeto em questão, os gestores não con-
ocorrem os desembolsos (GILBERT et al., 1999). sideram o sistema confiável. Em um segundo
Considerando isto e o exposto no parágrafo an- momento, o sistema é reformulado, mais pre-
terior, gera-se um quadro inovador no ambiente cisamente para atender a exigências do finan-
institucional brasileiro, no sentido da Teoria Ins- ciador para uma mudança contratual. Todavia,
titucional das Organizações. aquilo que havia de tecnicamente deficiente
nos indicadores permanece, ou surgem novos
Por esta, quando um padrão organizacional problemas, bem como o sistema em si nem é
institucionalizado externo é introduzido ou objeto de atenção.
quando há pressões isomórficas conflitantes,
gera-se inovação com impacto em novas es- O segundo4 caso reforça o encontrado no pri-
90 truturas e novos processos (WESTNEY, 2005). meiro, a despeito de se tratar de projeto de
natureza distinta. O que se destaca não é a ta), repetidamente atribuindo os problemas e
qualidade dos indicadores, tampouco a au- causas dos fracassos a fatores externos, o que
sência de sistemática de M&A. O que é mere- indica a ausência de cultura de responsabi-
cedor de atenção é o fato de que, na medida lização (BARBOSA, 2006; GUBERMAN, 2008;
em que a apuração de indicadores sinalizou HOLANDA, 1995; HUBERT; MADUREIRA, 2001;
para resultados distintos dos desejáveis, esta PRATES; BARROS, 1997). Algo que, na gênese,
passou a levantar somente dados que em diverge diametralmente da raison d’être de se
muito pouco contribuíam. Em resumo, avalia- adotar práticas de M&A.
va-se, mas não o que era relevante.
Em resumo, o choque narrado anteriormente,
Peculiaridades à parte, ambos os projetos entre padrões prestabelecidos da cultura lo-
possuem pontos em comum. No geral, o foco cal e aquilo que surgiu como imposição exter-
no “atendimento legal” a uma exigência, de- na, resulta em um quadro que, basicamente,
notando uma prevalência do legalismo so- compõe-se de vestes de avaliação sobre um
bre o resultado. Ou seja, a prática de M&A é, corpo disforme. Estas vestes, porém, podem
primordialmente, uma questão de requisito ser utilizadas para a legitimação de ações
formal, com foco em fiscalização e controle não tão legítimas, pelo fato de que estariam
e pouca, por vezes nenhuma, utilização dos embasadas em práticas sistematizadas – de
seus resultados para retroalimentar o plane- onde se pode dizer que potencialmente ge-
jamento do projeto ou política pública. ram mais males que benefícios.
Um fator que contribui é a característica brasi- O fato das práticas só ocorrerem na forma,
leira do legalismo superar o resultado na ação não no conteúdo, alerta para o perigo da
do ente estatal, em boa parte decorrente de importação acrítica de modelos de gestão
uma situação de pouco expressiva governan- (GUBERMAN; KNOPP, 2009b), o que, por
ça social, a qual converge e reforça o fato de não ser foco do texto, deixa-se de elaborar
que, no Brasil, a sociedade e o estado têm re- mais. Contudo, provavelmente é aplicável
lação baseada no clientelismo (além da ope- ao efeito da adoção de outras metodologias
ração patrimonialista, personalista e formalis- ou práticas no país.
3 Este caso refere-se a um projeto de modernização da gestão pública, de abrangência nacional, financiado por Banco Multi-
lateral de Desenvolvimento mediante empréstimo.
4 Este caso refere-se a um projeto de grande magnitude de melhoria urbana, com enfoque principal em habitação, financiado
por Banco Multilateral de Desenvolvimento mediante empréstimo.

91
Existe consenso praticamente estabelecido Acordos de Resultados, os Comitês de Resul-
no discurso oficial dos governos e da Acade- tados e para o sistema de monitoramento e
mia sobre a relevância do M&A para a ação avaliação das políticas e programas públicos.
estatal. Entretanto, é pouco comum a ocor-
rência de práticas sistemáticas que subsidiem O estado de Minas Gerais foi exitoso na im-
a gestão pública, a despeito da sua adoção plementação do “duplo planejamento” (ver
crescente nos últimos anos (COSTA; CASTA- GUIMARÃES; ALMEIDA, 2006), com aderência
NHAR, 2003). Em outras palavras, “a avaliação entre planejamento e orçamento (Plano Mi-
tem sido reconhecida como importante, mas neiro de Desenvolvimento Integrado – PMDI,
não tem se convertido em um processo indis- Plano Plurianual de Ação Governamental –
pensável que faça parte do processo de ges- PPAG, Lei de Diretrizes Orçamentárias – LDO
tão” (MOKATE, 2002:90). Sobre esse aspecto, e Lei Orçamentária Anual – LOA), alinhamen-
Mokate (2002:91) questiona: “Por que não se to de suas organizações aos resultados de
alcançou uma utilização ampla da avaliação desenvolvimento e consistente estrutura de
como instrumento ou insumo dos processos controle e responsabilização por resultados
de gestão de políticas e programas sociais?”. (GUIMARÃES; CAMPOS, 2010).
Apesar de poucas (embora em número cada O governo de Minas, ao mesmo tempo em

vez maior) as práticas consistentes, há alguns que delineou uma estratégia de médio e lon-
casos que servem de exemplo no país, entre go prazo, desenvolveu uma estrutura para
os quais se destaca, a seguir, o do governo do monitoramento intensivo dos resultados e
estado de Minas Gerais. de um conjunto de programas eleitos como
prioritários e estruturadores (os principais
vetores da estratégia de desenvolvimento do
M&A no governo de estado de Minas Gerais delineada pelo PMDI),
Minas Gerais denominada Gestão Estratégica de Recursos
Na última década, o governo do estado de Mi- e Ações do Estado (Geraes).
nas Gerais tornou-se caso paradigmático de
gestão pública para diversos governos no Bra- O Geraes foi criado no ano de 2004, como
sil e na América Latina. Os êxitos logrados pe- uma unidade da Secretaria de Estado de Pla-
las gerações de reformas no aparelho do Esta- nejamento e Gestão (Seplag/MG), sendo res-
do empreendidas no período compreendido ponsável por assessorar órgãos e entidades
entre 2003 e 2010, conhecidas como Choque da administração pública estadual no plane-
de Gestão (1ª geração, 2003-2006) e Estado jamento, execução e controle dos programas
para Resultados (2ª geração, 2007-2010), estruturadores, dentre outros. Entre suas ati-
tornaram Minas Gerais objeto de mimetismo vidades, destacam-se:
institucional e gerencial, principalmente no
que diz respeito a práticas de governança pú- o auxílio às equipes dos projetos no
blica para resultados, com destaque para os estabelecimento das metas, apoio na
92
definição das tarefas necessárias para dando início, assim, à constituição de um sis-
o cumprimento das metas, acompa- tema de monitoramento e avaliação das polí-
nhamento da execução física e finan- ticas públicas mineiras.
ceira, liberação de cotas orçamentá-
rias, monitoramento dos resultados No começo de 2011, com a extinção do Pro-
obtidos, elaboração de relatório de grama Estado para Resultados (prevista desde
execução, análise dos desvios encon-
a sua criação), o governo de Minas Gerais criou
trados e estabelecimento de ações
o Escritório de Prioridades Estratégicas (MINAS
corretivas necessárias a cada projeto
GERAIS, 2011a), órgão autônomo e responsável
estruturador (GERAES, s/d).
por coordenar o sistema de M&A governamen-
No período compreendido entre 2003 e tal, que, por meio de um diagnóstico realizado
2008, o governo de Minas Gerais contava com junto a diversos stakeholders e de estudos de
uma estrutura robusta e institucionalizada de experiências internacionais em M&A, está a de-
monitoramento de seus programas estrutura- linear um portfólio de avaliações para abranger
dores, mas identificou a necessidade de ini- todo o ciclo de políticas públicas, alinhando-se
ciar um processo sistematizado de avaliação às necessidades temporais e informativas do
desses programas e de gerir e consolidar um ciclo planejamento-orçamento.
sistema de avaliação e aprimoramento dos
indicadores finalísticos do PMDI. Com isso, no Seguindo a lógica de orientação para resulta-
ano de 2009, por meio do Programa Estado dos para a cidadania – em consonância com os
para Resultados , teve origem o processo de
5 princípios da 3ª geração de reforma em curso
avaliações executivas dos programas estru- em Minas Gerais, intitulada Gestão para a Cida-
turadores, de estudos avaliativos sobre seus dania – e instituição de parcerias, o Escritório
impactos e de avaliações executivas dos indi- trabalhará de forma cooperativa com unidades
cadores de resultados finalísticos do estado. setoriais e órgãos com papéis complementares
Para o êxito dessas empreitadas, tornou-se no novo sistema de M&A governamental e com
fundamental a parceria com diversos órgãos diversos órgãos de ensino e pesquisa para o
do estado, notadamente com o Geraes, com alcance de metas prioritárias de governo. Além
as Secretarias e com a Fundação João Pinheiro , 6 disso, o Escritório subsidiará as decisões estra-
5 O Programa Estado para Resultados, vinculado à Seplag/MG, é uma estrutura temporária criada pela Lei Delegada nº 112,
de 25 de janeiro de 2007, sendo o responsável pelo fomento à gestão estratégica no governo e por efetivar uma gestão para
resultados no estado, alinhando-se com as premissas da segunda geração de reforma do aparelho do estado sob o mesmo nome.
O Programa foi criado com prazo de extinção, a saber, 31 de janeiro de 2011.
6 A Fundação João Pinheiro é o órgão oficial de estatística de Minas Gerais, sendo uma instituição pública vinculada à Secre-
taria de Estado de Planejamento e Gestão. Atua nas áreas de ensino e pesquisa em administração pública, avaliação de políticas
públicas e na produção de indicadores estatísticos, econômicos, demográficos e sociais.

93
tégicas do governo de Minas Gerais (princi- sentados, funcionarão como incentivos para
palmente as do governador do estado) com a a melhoria de resultados.
geração e provimento de informações sobre o
desempenho dos programas e políticas públi-
cas e da atuação estatal em áreas focais, tanto Considerações finais
por meio de avaliações quanto por meio da Ao serem apresentadas as experiências inter-
realização de estudos técnicos e análises se- nacionais e a realidade brasileira em M&A, é
toriais regionalizados (MINAS GERAIS, 2011b). possível delinear um quadro de possibilida-
des de aprimoramento da prática no Brasil,
Recentemente foi criada no âmbito da Se- com o enorme potencial de contribuição para
plag/MG a Subsecretaria de Gestão da Es- o desenvolvimento da gestão pública.
tratégia Governamental , responsável, den-
7
tre outras coisas, pelo acompanhamento e Para tanto, é mister atentar para o fato de que a
implementação do PMDI; acompanhamento pura e simples emulação das práticas descritas,
e gestão da carteira de programas estrutura- sejam as internacionais ou mesmo a de Minas
dores do governo; gestão das metodologias Gerais, podem resultar em mais malefícios que
de gerenciamento de projetos e Acordo de ganhos, conforme alertado na seção anterior.
Resultados; apoio à implementação e padro-
nização de escritórios setoriais nas unidades. Qual o caminho, então, a se tomar?
Também estão sendo criados, nas Secreta- Ele deve iniciar-se pelo claro reconhecimento
rias de Estado, escritórios setoriais de pro- de que existem barreiras tanto técnicas quan-
jetos, responsáveis pelo no monitoramento to institucionais para a adoção de um siste-
e apoio à execução dos programas setoriais ma de M&A e que não se pode simplesmente
dessas Secretarias. investir em soluções técnicas, sem a devida
atenção às institucionais.
O sistema de M&A do governo de Minas Ge-
rais tem, a partir de 2011, o Escritório de Neste ponto, é necessário também reconhe-
Prioridades Estratégicas como instituição cer que nem sempre será possível derrubar
com papel de coordenação e o governador a barreira, o que demanda a formulação de
do estado como principal patrocinador e estratégias para contorná-las, o que pode, ao
um dos principais usuários das informações fim, gerar os resultados almejados (GUBER-
geradas. Os gerentes de programas e secre- MAN et al., 2010).
tários de estado também serão importantes
usuários do sistema. Reuniões periódicas, No caso concreto de M&A, se a tendência na-
entre os integrantes do sistema de M&A, tural é adoção por questão de requisito legal,
o governador e secretários de estado, nas o que se deve buscar é verificar com os envol-
quais o desempenho dos programas e polí- vidos quais informações são relevantes para
94 ticas e seus principais entraves serão apre- o trabalho deles, chegando mesmo a tratar o
conteúdo daquilo que for de requisito legal condição importante para uma boa atuação.
como algo à parte. Isto porque, normalmente, questões rela-
cionadas ao atendimento a requisitos legais
De início, se houver possibilidade, é interes- geram informações que alimentam órgãos de
sante a adoção de práticas distintas para tra- controle e auditoria, o que pode gerar o in-
tar aquilo do sistema que se referir ao cum- centivo de influência por parte dos dirigentes
primento de obrigações normativas e legais e sobre aquilo que é divulgado (vide, e.g., GU-
aquilo que visar atender às necessidades de BERMAN, 2010).
informação levantadas com os envolvidos.
Sem esta vinculação, porém, os dirigentes
A inicial perda de eficiência gerada será com- serão menos constrangidos a intervirem, sen-
pensada no futuro, quando as práticas volta- tindo, até mesmo, maior tranquilidade na uti-
rem a se fundir, no momento em que a matu- lização dos resultados das avaliações no rea-
ridade organizacional assim possibilitar. prumar da atuação organizacional.
Em conjunto, é necessária a integração en- A dissociação ainda tem o potencial de en-

tre as áreas de planejamento dos envol- cadeamento positivo, pois o uso das infor-
vidos e o sistema de M&A para garantir a mações geradas pelo sistema de M&A ocorre
utilização das informações no novo ciclo de num crescente, expandindo-se para além do
planejamento, o que colaborará com o for- escopo inicialmente delimitado, originando
talecimento da prática. demandas por novas informações que melhor
subsidiem a operação das organizações, che-
Outra característica da adoção de um siste- gando ao ponto de convergência entre aquilo
ma de M&A é que ela deve ser gradual, para que é objeto de demanda legal e demanda
permitir os ajustes necessários ao longo do organizacional, fundindo as práticas em um
processo, bem como a consolidação daquilo momento em que a sistemática de M&A en-
já implementado, fornecendo maior sustenta- contrar-se-á institucionalizada.
ção às etapas seguintes.
Para esta institucionalização, três fatores
Desvencilhar a prática de M&A gerado a par- adicionais contribuem. O primeiro é a já
tir de informações demandadas daquela de citada independência e imparcialidade (au-
atendimento a requisitos legais facilita que tonomia técnica), mas sob a forma organi-
o setor responsável (pelo primeiro tipo de zacional de ente distinto, como um conse-
M&A) trabalhe com mais independência – lho (vide Coneval no México) ou órgão de
7 Com a criação da Subsecretaria, as atribuições e atividades do Geraes foram incorporadas às suas unidades, a saber, a As-
sessoria Estratégica de Metodologias e o Núcleo Central de Gestão Estratégica de Projetos e do Desempenho Institucional.

95
pesquisa (como muitas vezes atua o IPEA8). A descrição do caso mineiro ilustra bem alguns
O segundo é a possibilidade da criação de dos pontos tratados anteriormente. Começan-
redes, com a incorporação de organizações do com a independência do órgão de M&A,
da sociedade civil, que participem dos tra- passando pelo encadeamento de atividades
balhos e tornem mais difícil o desfazimento que ampliou o escopo de atuação, a rede com a
da trama. Finalmente, pode-se aproveitar o Fundação João Pinheiro, criando a trama de in-
êxito no emprego das informações na atu- terdependência e chegando a criação do Escri-
ação organizacional para a criação de algu- tório de Prioridades Estratégicas, denotando a
mas amarras institucionais, inicialmente, forte institucionalização da prática, cujo futuro
amarras “simples”, i.e., em aspectos pouco caberá determinar a magnitude desta fortaleza.
relevantes que, ao se solidificarem, passem
a abranger outros aspectos até chegar à É claro que, tanto em Minas Gerais como em
prática de decisão orçamentária, entre ou- qualquer outro lugar em que monitorar e ava-
tras adotadas pelos países apresentados liar são mais que verbos, são estruturas con-
no texto. sistentes e sólidas, muito mais se sucedeu
que aquilo revelado à tona. Sem sombra de
O apoio do patrocinador é relevante? Sim, dúvida, porém, pode-se afirmar que atenção
muito. Entretanto, é importante reconhecer a peculiaridades locais, seja de forma explíci-
que ele, sozinho, é insuficiente. As caracte- ta, seja de forma tácita, e ajustes no caminho
rísticas encontradas na administração pública foram variáveis fundamentais para o sucesso.
no Brasil (GUBERMAN, 2010; GUBERMAN et
al., 2010), aliadas à capacidade da média O que a experiência internacional (e também
gerência em atuar de forma distinta daquela a mineira) pode ensinar é que, atuando de
preconizada pela alta administração (BUR- forma consistente, planejada e observando
GELMAN, 1991), requerem especial atenção à todos os elementos pertinentes, não somen-
atuação desta e ao constante alinhamento e te é possível lograr êxito, como também se
monitoramento dos esforços visando ao de- obtém elementos importantíssimos para o
senvolvimento da prática de M&A. aprimoramento da gestão pública.
96
AFONSO, Carla Winter; GUBERMAN, Gustavo. GESTÃO ESTRATÉGICA DE RECURSOS E AÇÕES
Influência dos Organismos Internacionais na DO ESTADO (GERAES). Sobre o GERAES. Dispo-
Política Nacional de Ensino Brasileira. In. EN- nível em: <http://www.geraes.mg.gov.br/sobre-
CONTRO DE ESTUDOS EM ESTRATÉGIA, 3, Anais. -o-geraes>. Acesso em: 20 abr. 2011.
São Paulo, 2007.
GILBERT, Christopher; POWELL, Andrew; VINES,
BARBOSA, Lívia. Igualdade e Meritocracia: a éti- David. Positioning the World Bank. The Eco-
ca do desempenho nas sociedades modernas. nomic Journal, London: RES, v. 109. n. 459. p.
4. ed. Rio de Janeiro: Getulio Vargas Editora, F598-F633, 1999.
2006. 216 p.
GUBERMAN, Gustavo. A Dinâmica da lentidão:
BRICEÑO, Bertha. Defining the Type of M&E Sys- organizações públicas como inibidoras do de-
tem: Clients, Intended Uses, and Actual Utiliza- senvolvimento. Rio de Janeiro: FGV/EBAPE,
tion. World Bank PREM notes, n. 2, p 1-10, set. 2010. 330 p. (Tese de Doutorado).
de 2010.
______.A Dinâmica Social das Organizações Pú-
BURGELMAN, R. A. Intraorganizational eco- blicas como Inibidora do Desenvolvimento no
logy of strategy making and organizational Brasil. In. ENCONTRO NACIONAL DE ADMINIS-
adaptation – Theory and field research. Orga- TRAÇÃO PÚBLICA E GOVERNANÇA, 3, Anais, Sal-
nization Science, v. 2, n. 3, p. 239-262, 1991. vador, 2008.
CASTRO, Manuel F. et al. Mexico’s M&E Sys- ______;KNOPP, Glauco. Monitorando e Ava-
tem: scaling up from the sectoral to the na- liando Objetivos e Metas em Modernização da
tional level. World Bank Independent Evalua- Gestão: o que é praticado avalia? In: CONGRESO
tion Group, ECD Working Paper Series, n. 20, Internacional del CLAD sobre la Reforma del Es-
set. de 2009. tado y de la Administración Pública, 14. Salva-
dor, Brasil, 2009a, pp.1-29.
COSTA, Frederico Lustosa; CASTANHAR, José
Cezar. Avaliação de programas públicos: de- ___;___.Modernizando a Modernização da Ges-
safios conceituais e metodológicos. Revista tão: o que a experiência do PNAGE nos ensina.
de Administração Pública, Rio de Janeiro, v. In: CONGRESSO CONSAD DE GESTÃO PÚBLICA,
37, n. 5, p. 969-992, 2003. 1, Anais, Brasília, 2009b.
8 Instituto de Pesquisas Econômicas Aplicadas.

97
___;___.SENDIN, Lília. [Re]Pensar, [Re]Agir, HIRSCHMANN, David. Development Mana-
[Inter]Agir: a trajetória do PNAGE no Estado gement versus Third World Bureaucracies: a
do Rio de Janeiro. In: Congresso CONSAD de brief history of conflicting interests. Develo-
Gestão Pública, 3, Anais, Brasília, 2010. pment and Change, Oxford: Blackwell, v. 30.
n. 2. p. 287-305, 1999.
GRAU, Nuria Cunill; BOZZI, Ospina Sonia. For-
talecimiento de los sistemas de monitoreo HOLANDA, Sérgio Buarque de. Raízes do Bra-
y evaluación (M&E) en la América Latina: sil. 26. ed. São Paulo: Companhia das Letras,
Informe comparativo de 12 países. Caracas: 1995. 220 p.
Banco Mundial/CLAD, 2008.
HUBERT; MADUREIRA, M. O brasileiro ain-
GUIMARÃES, Tadeu B.; ALMEIDA, Bernardo de. da não decidiu se é um gênio ou um merda.
O Duplo Planejamento. In: VILHENA, Renata et In: AGUIAR, Luiz Antônio. SOBRAL, Marisa
al. (Orgs.). O choque de gestão em Minas Ge- (Orgs.). Para entender o Brasil. 3. ed. São
rais: políticas da gestão pública para o desen- Paulo: Alegro, 2001. 367 p.
volvimento. Belo Horizonte/MG: UFMG, 2006.
LEGOVINI, Arianna. Sistema Nacional de Eva-
GUIMARÃES, Tadeu B.; CAMPOS, Eder. Siste- luación de Gestión y Resultados: la experi-
ma de Monitoramento e Avaliação no Gover- ência de Colombia. In: SEMINÁRIO EXPERIÊN-
no do Estado de Minas Gerais: aspectos de CIAS EM MONITORAMENTO E AVALIAÇÃO, 1.,
gerenciamento. Disponível em: <http://site- 2009, Belo Horizonte. Slide. Belo Horizonte:
resources.worldbank.org/INTLACREGTOPPO- Programa Estado para Resultados, 2009. Dis-
VANA/Resources/Tadeu_Barreto_Minas_Ge- ponível em <http://www.estadopararesulta-
rais.pdf>. Acesso em: 29 abr. 2011. dos.mg.gov.br>. Acesso em: 13 mar. 2011.
98
MACKAY, Keith. Institucionalización de los 182, de 21 de Janeiro de 2011, e dá outras pro-
sistemas de seguimiento y evaluación para vidências. Belo Horizonte, 2011b.
mejorar la gestión del sector público. World
Bank Independent Evaluation Group, ECD MOKATE, Karen M. Convirtiendo el ‘monstruo’
Working Paper Series, n. 15, jan. de 2006. en aliado: la evaluación como herramienta de
la gerencia social. Revista do Serviço Público,
______.How to Build M&E Systems to Support v. 53, n. 1, p. 89-134, jan./mar. 2002.
Better Government. Washington DC: World
Bank Independent Evaluation Group, 2007. PRATES, Marco Aurélio Spyer. BARROS, Beta-
nia Tanure de. O estilo brasileiro de adminis-
______.Conceptual Framework for Monitoring trar: sumário de um modelo de ação cultural
and Evaluation. World Bank PREMnotes, n.1, p. brasileiro com base na gestão empresarial.
1-7, ago. de 2010. In: MOTTA, Fernando C; Prestes, CALDAS, Mi-
guel P. (Orgs.) Cultura organizacional e cul-
MINAS GERAIS (Estado). Secretaria de Estado tura brasileira. São Paulo: Atlas, 1997. 325 p.
de Fazenda. Lei Delegada n. 179, de 1 de janei-
ro de 2011. Dispõe sobre a organização básica STIGLITZ, Joseph E. The World Bank at the
e a estrutura da Administração Pública do Po- Millennium. The Economic Journal. London:
der Executivo do Estado. Belo Horizonte, 2011. RES, v. 109, n. 459. p. F577-F597, 1999.
MINAS GERAIS (Estado). Secretaria de Estado de WESTNEY, D. E. Institutional Theory and the
Fazenda. Lei Delegada n. 181, de 20 de janeiro Multinational Corporation. In: GHOSHAL, S.;
de 2011. Altera as Leis Delegadas nº 179, de 1º WESTNEY, D. E. (Eds.). Organization theory
de janeiro de 2011; nº 180, de 20 de janeiro de and the Multinational Corporation. 2. ed.
2011; nº 181, de 20 de Janeiro de 2011 e nº Houndmills: Palgrave, 2005. 345 p.

99
entrevista
Michael, você tem experiências
em trabalhos com o Brasil desde
Michael a década de 1970 e acompanhou
Bamberger muito de perto a evolução
Por Márcia Paterno Joppert da área de avaliação no país.
Gostaria de saber como você
Entrevista realizada durante vê este desenvolvimento desde
a Conferência da Associação
essa época:
Americana de Avaliação, em
Anaheim, CA – USA , no dia 04 Eu ingressei neste campo no
de novembro de 2011. início da década de 1970 traba-
lhando com uma organização vo-
Michael Bamberger tem quase 40 anos luntária de desenvolvimento co-
de experiência na área de avaliação de munitário urbano que se chamava
Accion International. O programa
iniciativas de desenvolvimento, sendo
começou na Venezuela, onde eu
uma década de trabalho com organiza-
vivia, mas ajudei a construir uma
ções não governamentais na América La- ação nas favelas dos estados da
tina, 25 anos de atuação em avaliações Guanabara (atual Rio de Janeiro)
de projetos do Banco Mundial e 10 anos e São Paulo, que se chamava Ação
Comunitária no Brasil. Começa-
como consultor independente em ava-
mos por avaliar a efetividade das
liação, incluindo programas com agên- intervenções com relação aos
cias do Sistema Nações Unidas e outras impactos econômicos e sociais
agências de desenvolvimento bilaterais nas favelas. As avaliações eram
e multilaterais. Publicou três livros sobre então realizadas para demonstrar

o custo-efetividade de trabalhar
avaliação, bem como inúmeros artigos
nas favelas, pois havia um senso
em revistas profissionais. Participou do comum de que era muito difícil
Conselho Editorial das seguintes revis- produzir mudanças econômicas
tas: “New Directions for Evaluation”, positivas nessas áreas. Concorda-
va-se na sua realização como uma
“Journal of Development Effectiveness”,
ação social, mas não como uma
“Journal of Mixed Methods Research”
ação que alavancaria o desenvol-
e “American Journal of Evaluation”. Mi- vimento econômico. Havia uma
nistrou cursos em programas de avalia- ideia de que as pessoas que vi-
ção na África, América Latina, Ásia e no viam nas favelas não tinham mui-
to valor econômico-social, mas,
Oriente Médio e, desde 2002, no Inter-
com o tempo, foi-se descobrindo
national Program for Development Eva-
que este grupo representava um
luation Training (IPDET) no Canadá.
100
100
grande recurso econômico: mão volvimento social. Tanto o setor
de obra e potencial para desen- público como as ONGs têm pro-
volvimento de pequenas e micro- movido muitas avaliações para
empresas. Logo os empresários entender a situação da pobre-
brasileiros começaram a apro- za e os resultados dos recursos
fundar este conceito por meio empregados. O governo também
de pesquisas. O trabalho tinha sofreu, nos últimos anos, muita
por objeto as favelas, mas tam- influência das organizações inter-
bém testava diferentes modelos nacionais, como o Banco Mundial
de desenvolvimento econômico e o BID, que sempre exerceram
em outras áreas e regiões, como pressões para incorporar compo-
o microcrédito no Nordeste. Esta nentes de avaliação no desenho
foi a minha primeira experiência de programas financiados com
de avaliação no Brasil. seus recursos. O enfoque era
mais quantitativo, ligado aos mo-
Depois, quando ingressei no Ban- delos econométricos e lógicos.
co Mundial, em 1978, trabalhei na Em especial, no setor urbano e na
avaliação dos programas urbanís- habitação, havia dentro do Banco
ticos de pequenas habitações e Mundial e do BID muitas pessoas
desenvolvimento das áreas mar- com experiência em investiga-
ginais, organizei vários programas ções econômicas, principalmen-
de formação em técnicas de ava- te da “escola” da Universidade
liação para o então Ministério do de Chicago – havia mais impulso
Interior (MINTER). Essas experiên- para avaliações mais rigorosas de
cias de avaliação eram bastante programas de desenvolvimento
inovadoras, pois, nessa época, só urbano, com a filosofia de elimi-
havia basicamente monitoramen- nar todas as barreiras ao desen-
to no Brasil. volvimento econômico. Segundo
o modelo da Escola de Chicago,
Você acha que hoje esse campo uma vez dados os meios para
está mais desenvolvido no isso, as pessoas sabem aproveitar
Brasil? as oportunidades para realizar in-
Sim, hoje, o campo de monitora- vestimentos, como, por exemplo,
mento e avaliação está mais de- de suas próprias habitações ou
senvolvido no Brasil por várias pequenas empresas.
razões: mudanças no sistema
democrático e, principalmente, Em outros países onde eu traba-
maior preocupação com o desen- lhei, El Salvador, por exemplo,
101
onde eu era encarregado da uni- desafios organizacionais e técni-
dade de avaliação de um projeto cos que os métodos mistos pode-
de habitação para os setores mar- riam implicar1.
ginalizados, houve uma diferença
de enfoque entre a ONG nacio- Mas essas questões também são
nal executora do projeto, que se objeto de discussões no Brasil,
preocupava mais com direitos você não acha?
sociais e humanos, e a equipe Sim. Trabalhar no Brasil com in-
do Banco Mundial, que queria vestigações sociais era muito
uma avaliação mais econômica, delicado nessa época porque
estimando a taxa de retorno, etc. sociologia não era uma profissão
Acabou-se chegando a um acor- regulamentada e eu ingressei
do de preparar duas versões de no país como economista (assim
todos os relatórios de avaliação: constava em meu visto de traba-
uma para a ONG executora, mais lho), apesar de ser sociólogo. Era
voltada para a questão social, e muito difícil achar profissionais
outra para o Banco Mundial, que de sociologia para pesquisas.
achava que o importante era
construir habitações. Ou seja, por Quais, na sua opinião, seriam os
conta das pressões das organiza- caminhos que o Brasil deveria
ções nacionais (ONGs inclusive), trilhar para desenvolver essa
esse enfoque teve que ser in- área de forma sustentável?
corporado às investigações. Esse Em primeiro lugar, quanto ao
tipo de diferença de perspectiva enfoque, acho interessante for-
ainda não acontecia no Brasil talecer e desenvolver avaliações
nessa época (anos 1970), que com métodos mistos porque, na
privilegiava totalmente o enfo- grande escala em que opera o
que técnico, quantitativo e eco- Brasil, é importante incorporar a
nômico das avaliações. dimensão quantitativa, saber se
um projeto piloto pode ser repli-
Os esforços em El Salvador para cado. No entanto, apesar de pro-
integrar os enfoques econômicos gresso impressionante, nas últi-
e quantitativos com um aspecto mas décadas, na redução da taxa
qualitativo e social foram bons da pobreza no Brasil, ainda existe
exemplos dos benefícios poten- um grande contingente em situ-
ciais de usar uma metodologia ação de miséria. Então é preciso
mista. Também demostraram os ter avaliação dos programas pú-
102
blicos e privados para entender o titativas e apoiam, por exemplo,
impacto na redução da pobreza e departamentos de universidades
em outros cortes, como equidade, formados por economistas, com
situação da mulher, jovens, que enfoques quantitativos, e os ou-
estão fora do sistema. Seria então tros podem ficar um pouco mar-
recomendável usar métodos com ginalizados.
enfoques mistos, que são mais
sofisticados. Nesse tipo de en- Para mim, é uma pena que não se
foque, é necessário ter um time possa aproveitar todos os recur-
formado por pessoas de diferen- sos intelectuais para entender a
tes disciplinas que muitas vezes dinâmica da problemática econô-
não trabalham muito bem juntas mico-social e cultural. Acho que
– os economistas acham que in- o Brasil tem a possibilidade, pela
vestigações que usam técnicas grande capacidade intelectual,
qualitativas não são sérias e os de ser um dos líderes na América
investigadores sociais acham que Latina em realmente integrar to-
economistas “não têm coração”. das as dimensões da avaliação, o
Assim, acho que um processo de que não está muito desenvolvido
desenvolvimento da avaliação no em nenhum país dessa região. A
Brasil deve contemplar o uso de Colômbia é um exemplo onde o
métodos mistos desde os dese- governo, por meio do Ministério
nhos, pois senão vão-se desen- do Planejamento, tem se esfor-
volvendo dois tipos de avaliação çado em contratar avaliações.
paralelos e depois é mais difícil Porém, privilegiando enfoques
de ligar. É uma oportunidade para quantitativos. Os consultores
o governo e outras entidades en- sabem que deveriam fortalecer
volvidas em avaliação. Este é um o enfoque qualitativo, mas não
aspecto que tem muitas implica- sabem ainda muito bem como
ções em como se organizam as fazê-lo e, por isso, contratam de
avaliações, porque, o que aconte- forma um pouco esporádica e
ce em muitos países cujas fontes não muito bem planejada estu-
de financiamento de projetos de dos de caso sem conexão lógica
desenvolvimento são organiza- com a avaliação principal e de-
ções internacionais, embora isso pois não se sabe como enqua-
ocorra menos no Brasil agora, é drar esses estudos de caso com
que essas organizações têm mais uma grande amostragem quan-
interesse nas avaliações quantitativa. Então, passei um tempo
1 Para uma discussão da metodologia mista e suas aplicações no campo de avaliações,

ver Michael Bamberger, Jim Rugh e Lind Mabry (2011). RealWorld Evaluation: working under
budget, time, data and political constraints. [Sage Publications]. Capítulo 14: “Mixed Method
Evaluations”. No momento, somente disponível em inglês.
103
na Colômbia trabalhando pelo uma maneira de incentivar esta
Banco Mundial no Ministério do aplicação seria priorizar empre-
Planejamento sobre como forta- sas consultoras que propusessem
lecer mecanismos de avaliação. o uso de métodos mistos nas suas
Temos pensado um pouco nisso. propostas técnicas. Também, uma
Mas, é bem difícil, dentro de uma das situações que muitos econo-
avaliação específica, decidir que mistas vivenciam é a de que as
vamos convidar diversos tipos de revistas econômicas conceitua-
profissionais para participar – é das não aceitam artigos que não
um processo de desenvolvimen- tenham muitas tabelas de regres-
to de capacidades, de formação e sões – eu conheço vários econo-
de criar uma cultura de trabalho mistas que dizem entender bem
conjunto porque existe uma des- a importância das avaliações mis-
confiança entre os profissionais. tas, mas o fato de nunca pode-
rem publicar trabalhos que não
É difícil também planejar uma tenham enfoques quantitativos
avaliação mista. É preciso inves- nas revistas de referência é um
tir mais tempo na formação de fator de desestímulo para eles.
equipe e ter várias reuniões para Algumas revistas dão muita im-
entender o pensamento de to- portância para o número de tabe-
dos e construir mais confiança. las e para os métodos estatísticos
Geralmente, em uma avaliação utilizados. Então, é preciso mudar
com métodos mistos, existe uma a mentalidade das revistas, dos
orientação profissional dominan- departamentos das universida-
te (quantitativa ou qualitativa) e des, das organizações contratan-
os outros entram para seguir o tes do governo, das organizações
plano desse grupo. Então, para financiadoras, passo a passo. Se a
conseguir este equilíbrio, é ne- intenção for utilizar efetivamente
cessário um plano de desenvolvi- métodos mistos em pesquisas
mento de vários anos que, pouco avaliativas, o Brasil terá que for-
a pouco, é experimentado e dá mular uma estratégia. A utiliza-
apoio financeiro e organizacional ção de métodos mistos poderá
para avaliações por meio de me- fornecer muitos benefícios para
todologias mistas. Por exemplo, o país. Organizações promotoras
104
de avaliação (como a Agência de caso, enfim, era fabuloso, mas
Brasileira de Avaliação e a Rede era muito complicado2. Há tam-
Brasileira de Monitoramento e bém muitos problemas logísticos
Avaliação) poderiam incentivar em ter uma equipe aplicando
debates abertos sobre isso, não técnicas quantitativas ao mesmo
defendendo a ideia de que so- tempo em que outro time está
mente avaliações mistas devem fazendo pesquisa de campo. Em
ser realizadas, mas procurando diversas comunidades, especial-
mostrar o valor e talvez promover mente nas áreas rurais onde é
pesquisas que mostrem o custo- necessário organizar transporte e
-benefício deste enfoque, que pernoite, em países que têm pro-
custa mais tempo e dinheiro. blemas de segurança, é preciso
ter permissão oficial para circular
Em 2000, o Banco Mundial pro- em certos lugares e dias. E como
moveu pesquisa sobre uma série todos que contratam avaliação
de estudos de caso de avaliações esperam resultados rápidos, mui-
mistas em vários países e, em um tas vezes os tempos reais não são
deles, um economista que tinha compatíveis com as expectativas
adotado métodos mistos em e necessidades. Então, o planeja-
avaliações de programas educa- mento passa a ser fundamental.
cionais no Paquistão afirmou que Isso é um pouco mais complica-
utilizar métodos mistos foi muito do, apesar de ser até mais fácil
valoroso para o desenho do pro- em algumas áreas, como, por
jeto e promoveu uma compre- exemplo, na saúde, porque muita
ensão mais profunda, mas que gente faz avaliações quantitati-
não poderia fazer isso outra vez vas e também qualitativas – tal-
porque era muito custoso e mui- vez fosse mais fácil, nesse setor,
to complicado de contratar. De- formar equipes mistas do que
morou muito mais tempo porque em outros como transporte, por
tiveram que contratar um diag- exemplo, onde a maioria das ava-
nóstico qualitativo e esperar os liações são quantitativas. Então,
resultados deste antes de come- esta é uma área da avaliação que
çar o desenho do questionário, tem implicações organizacionais
para depois voltar a fazer estudo e estratégicas.
2 Guillerme Sedlacek e Pamela Hunte (2000). “Evaluating the impacts of decentral-

ization and community participation on educational quality and the participation of girls
in Pakistan” in Michael Bamberger (editor). Integrating quantitative and qualitative re-
search in development projects. Directions in Development. World Bank (somente dis-
ponível em inglês).
105
relatos de pesquisa
Indicadores de resultados
definindo a distribuição
do ICMS - a experiência do
Ceará
Marcos C. Holanda Em governos que trabalham na recursos entre os municípios. Se

lógica da gestão para resultados, antes a distribuição era basea-
* Universidade Federal do Ceará
o monitoramento e avaliação da em indicadores de produtos,
(M&A) de políticas podem ter agora é baseada em indicadores
duas funções complementares. de resultados. Após os primeiros
Na primeira, o M&A gera infor- quatro anos da entrada em vigor
mações a serem utilizadas no da lei, há sinais positivos no de-
processo de construção do orça- sempenho dos municípios. Na
mento. Nesse caso, os resultados educação, houve melhorias nos
induzem a alocação dos recursos exames de matemática e portu-
orçamentários. Os resultados, no guês, mas a um custo de maior
entanto, podem ser usados em desigualdade entre os alunos.
regras orçamentárias onde eles Os resultados mostram também
definem e não apenas induzem que alguns municípios se com-
a referida alocação. O presente portaram estrategicamente e
artigo faz uma avaliação inicial aproveitaram a nova lei para ob-
de uma lei pioneira aprovada ter ganhos significativos em seus
em 2007 no estado do Ceará, orçamentos. Mais importante,
que alterou os critérios de dis- parece que o principal objeti-
tribuição da cota do ICMS entre vo da lei está sendo alcançado.
os municípios. Essa nova lei esta- Como os municípios competem
beleceu indicadores de resulta- para obter melhores resultados,
106
dos em educação, saúde e meio eles avançam e ficam mais pró-
ambiente como definidores dos ximos em um nível mais alto de
106 coeficientes de distribuição dos desempenho.
Introdução
Em um governo que pratica gestão para re- Assim como no resto do Brasil, no Ceará,
sultados, o monitoramento e a avaliação de 25% da arrecadação do ICMS deve ser
políticas podem ter duas funções comple- transferida aos municípios. Desse mon-
mentares. Em primeiro lugar, eles produ- tante, 75% devem ser distribuídos de
zem informações para ciclos de orçamento acordo com a atividade econômica de
mais efetivos onde os resultados induzem cada município. Os 25% restantes devem
uma melhor alocação de recursos. As infor- ser divididos de acordo com lei estadual.
mações, no entanto, podem ser usadas em Antes da nova lei do ICMS, a distribuição
políticas baseadas em regras nas quais os destes 25% era feita de acordo com a se-
indicadores definem e não apenas indu- guinte regra: 5% proporcional ao número
zem a alocação de dinheiro. de habitantes, 12,5% de acordo com a
proporção do orçamento gasto em educa-
A escolha entre políticas discricionárias e ção e 7,5% igualmente distribuída.
baseadas em regras, muito presente em
economia monetária, também acontece A nova lei do ICMS mudou essa regra. O
nas políticas de orçamento público. novo critério de distribuição foi definido
da seguinte maneira: 18% com base em
No estado do Ceará, uma nova lei foi apro- resultados educacionais (12% para o
vada em 2007 mudando a maneira como as desempenho dos alunos em exames de
transferências do estado aos municípios são alfabetização e 6% para o desempenho
definidas . A lei utiliza indicadores de resul-
1 dos alunos em exames de matemática e
tados em educação, saúde e meio ambiente português na 5º série), 5% com base em
para determinar o montante da transferên- resultados de saúde (redução da taxa de
cia que cada município receberá. Na lei an- mortalidade infantil) e 2% com base em
tiga, os critérios principais eram gastos com resultados ambientais (sistemas de coleta
educação e população, agora são o desem- de resíduos sólidos). No cálculo dos índi-
penho dos alunos nas escolas, a redução da ces de educação e saúde são considera-
mortalidade infantil e a existência de siste- dos o nível (estoque) e o avanço (fluxo)
mas de coleta de resíduos sólidos. dos indicadores selecionados.
1 Lei Estadual nº 14.023, de 17 de dezembro de 2007

Indicadores de resultados definindo a distribuição do ICMS - a experiência do Ceará 107
relatos de pesquisa Considerando que, por lei, os municípios
Metodologia
são obrigados a alocar 25% de suas re-
ceitas em educação e a população muda O coeficiente de distribuição dos recursos
muito pouco de um ano para outro, a lei de cada município é definido pela soma
antiga gerava coeficientes de distribui- de três índices específicos: índice para a
ção muito semelhantes todos os anos. educação (IQE), índice para a saúde (IQS) e
Não havia incentivos para a boa gestão índice para o meio ambiente (IQM)2.
dos recursos. O dinheiro chegava inde-

pendentemente do desempenho. Além O IQE e o IQS foram projetados de forma
disso, existia um viés para os municípios a reconhecer tanto o nível como os avan-
mais ricos e mais populosos. ços nos indicadores-chave.
É importante observar que se antes os co-

Educação
eficientes de distribuição eram estáticos,
agora são dinâmicos, já que são definidos Indicadores considerados:
a cada ano por indicadores de desempe-
nho. Por outro lado, há uma ligação direta —— taxa de aprovação dos estudantes
entre resultados e recursos, não entre pro- nas primeiras cinco séries do ensino
dutos e recursos. Essa mudança de foco de fundamental;
produtos para resultados tem implicações —— notas em exames padronizados da
profundas na maneira com que os recur- 2a série do ensino fundamental (al-
sos públicos são gerenciados. fabetização);
—— notas em exames padronizados de

Cabe notar ainda que, na educação, a nova
matemática e português da 5a série
lei complementa o Fundo de Manutenção
do ensino fundamental.
e Desenvolvimento da Educação Básica e
de Valorização dos Profissionais da Edu- Para evitar qualquer interferência dos
cação (Fundeb). Enquanto o Fundeb criou gestores municipais, os exames são rea-
um incentivo para colocar os alunos nas lizados por instituições externas. No en-
escolas, a nova lei do ICMS criou um in- tanto, é necessário ter em conta a possi-
centivo para melhorar o desempenho des- bilidade de ocorrência de risco moral por
ses alunos. parte deles. Em seu desenho, a lei con-
siderou pelo menos duas possibilidades
Por último, a lei tem um diferencial em rede risco moral e incorporou mecanismos
lação à maioria das políticas de incentivo de controle.
ao desempenho na educação existentes,
na medida em que este é dado ao prefeito Os gestores municipais podem procurar
e não aos alunos, diretores ou professores. elevar as notas médias por meio da con-
Ou seja, o incentivo é dado ao agente que centração de recursos e esforços nos me-
possui um maior número de instrumentos lhores alunos e escolas, o que leva a um
108 de ação, o que pode fazer grande diferença. aumento indesejável da desigualdade
educacional. Para penalizar essa estra- Meio Ambiente/Superintendência Estadu-
tégia, as notas médias das escolas são al do Meio Ambiente (CONPAM/SEMACE);
divididas pela metade do desvio padrão
observado. - IQM é igual a 0, se não existe, no muni-
cípio “i”, Sistema de Gerenciamento Inte-
Outro risco é a possibilidade de os ges- grado de Resíduos Sólidos Urbanos apro-
tores selecionarem apenas os melhores vado pelo CONPAM/SEMACE.
alunos para realizarem os exames. Nesse
caso, as notas médias são multiplicadas
pela razão “alunos matriculados/alunos Resultados iniciais
presentes nos exames”. Após quatro anos de vigência da nova lei
do ICSM, alguns resultados iniciais mos-
Saúde tram seus benefícios. Houve uma altera-

ção significativa no padrão de distribuição
Na saúde, o indicador considerado é a
dos recursos. Na lei antiga, os municípios
taxa de mortalidade infantil (TMI).
que mais ganhavam eram aqueles mais
ricos e com maiores populações. Com a
Meio Ambiente nova lei, a distribuição ficou menos con-
centrada e agora municípios menores,
No caso do meio ambiente, o indicador mais pobres e que não tinham chance de
considerado é a existência ou não de um competir podem participar do jogo.
sistema adequado de coleta e destino de
resíduos sólidos: Os gráficos 1 e 2 mostram uma espécie de
efeito “Robin Hood”, em que municípios com
- IQM é igual a 1, se existe, no município menor participação inicial são aqueles que
“i”, Sistema de Gerenciamento Integrado mais avançam entre 2008 e 2011. Da mesma
de Resíduos Sólidos Urbanos aprovado forma os municípios mais pobres, medidos
pelo Conselho de Políticas e Gestão do pelo PIB per capita, são os que mais ganham.
2 Para uma descrição detalhada da metodologia de cálculo, ver: HOLANDA, Marcos Costa; BARBOSA, Marcelo Ponte; COSTA,
Leandro Oliveira. Metodologia de Cálculo da Nova Lei do ICMS Municipal. Disponível em: <http://www.ipece.CE.gov.br/publi-
cacoes/notas_tecnicas/NT_33.PDF>.

relatos de pesquisa ■■ Gráfico 1: Avanço na Participação do ICMS entre 2008
e 2011 em relação à Participação Inicial nos Municípios
Cearenses
150,00%
100,00%
Avanço na Participação
50,00%
0,00%
0,00000 0,05000 0,10000 0,15000 0,20000 0,25000 0,30000 0,35000 0,40000
-50,00%
-100,00%
-150,00%
Participação Inicial
■■ Gráfico 2: PIB 2007 e Avanço na Participação do ICMS entre

2008 e 2011 pelos municípios
25000
20000
15000
PIB 2007
10000
5000
0
-100,00% -50,00% 0,00% 50,00% 100,00% 150,00%
Avanço na Participação
A nova lei cria um jogo dinâmico, em que pios que percebem o potencial de ganho
todos os anos há ganhadores e perdedo- da nova lei implicam perdas para aqueles
res. Esses resultados poderiam indicar um que não tomam iniciativas. Esse movimen-
processo de aprendizagem onde alguns to é preocupante e indica a necessidade
municípios estrategicamente procuram ti- de uma maior divulgação e conscientiza-
rar proveito da nova lei. Como temos um ção para os municípios que estão ficando
110 jogo de soma zero, os avanços de municí- para trás.
■■ Gráfico
Gráfico3: 3: Ganhos
Ganhos e Perdas
e Perdas para para os municípios
os municípios Cearenses
Cearenses em
em consequência da aplicação da nova lei do ICMS
consequência da aplicação da nova lei do ICMS
120,00%
100,00%
80,00%
60,00%
Ganhos e Perdas
40,00% G&P>08-09
20,00% G&P>09-10
0,00% G&P>10-11
10
19
28
37
46
55
64
73
82
91
1
100
109
118
127
136
145
154
163
172
181
-20,00%
-40,00%
-60,00%
-80,00%
Como indicado anteriormente, o desempe- em exames de alfabetização (2a série). O

nho dos municípios em educação tem um gráfico 4 mostra que as notas médias dos
maior peso na definição do coeficiente final municípios têm aumentado, mas a um custo
de participação, sendo priorizadas as notas de uma maior desigualdade entre eles.
Gráfico 4: Evolução das notas médias e desvio padrão em exames de
■■ alfabetização
Gráfico 4: daEvolução
2a série nosdas
municípios
notascearenses
médias eentre os anos
desvio 2007 e em
padrão
exames de alfabetização da 22010 ª série nos municípios cearenses
entre os anos 2007 e 2010
160,0
140,0
120,0
100,0
80,0 Media
Média
Desvio
Desvio
60,0
40,0
20,0
0,0
2007 2008 2009 2010

relatos de pesquisa A mesma tendência de aumento de nível existe uma tendência positiva de
e dispersão acontece nas notas de portu- convergência das notas dos municí-
guês e matemática na 5 série. a
pios. Os gráficos 5 e 6 mostram que
os municípios com as menores notas
Cabe observar, no entanto, que tanto iniciais tendem a apresentar maiores
em matemática como em português avanços.
■■ Gráfico 5: Relação entre avanço Percentual nas notas

de matemática da 5a série entre 2007 e 2010 e notas de
matemática em 2007 dos municípios Cearenses
100
Avanço % Nota Matemática 07-10
80
60
40
20
0
150,00 160,00 170,00 180,00 190,00 200,00 210,00 220,00 230,00
-20
Nota Matemática em 2007
■■ Gráfico 6: Relação entre avanço Percentual nas notas de

português da 5ª série entre 2007 e 2010 e notas de português
em 2007 dos municípios Cearenses
80
70
Avanço % Português 07-10
60
50
40
30
20
10
0
-10130,00 140,00 150,00 160,00 170,00 180,00 190,00 200,00 210,00
-20
Nota português em 2007
112
Quando se olha o comportamento dos Esse aumento dos desvios indica que a
desvios das notas médias, verifica-se uma possibilidade de risco moral mencionada
convergência negativa no sentido de que anteriormente acontece efetivamente e
os municípios com menores desvios ini- corrobora a importância de ajustar as notas
ciais tendem a apresentar maiores aumen- médias pelos desvios padrões como ma-
tos no período de 2007 a 2010. neira de mitigar o referido comportamento.
■■ Gráfico 7: Avanço Percentual do Desvio Padrão das notas

de matemática da 5ª série entre 2007 e 2010 e o desvio padrão
das notas de matemática em 2007 nos municípios cearenses
80
Avanço % DP Matemática
60
40
07-10
20
0
25,00 30,00 35,00 40,00 45,00 50,00 55,00 60,00 65,00
-20
-40
DP Matemática Inicial 07
■■ Gráfico 8: Avanço Percentual do Desvio Padrão das notas

de português da 5ª série entre 2007 e 2010 e o desvio padrão
das notas de português em 2007 nos municípios cearenses
70
Avanço % DP Português 07-10
60
50
40
30
20
10
0
-1025,00 30,00 35,00 40,00 45,00 50,00 55,00
-20
-30
-40
DP Português Inicial 2007

relatos de pesquisa Uma questão que naturalmente sur- 9 e 10 mostram que não existe uma
ge com a nova lei é saber se o melhor relação clara entre nível de gastos e
desempenho em educação é obtido a desempenhos dos alunos. Isso indica
um custo de maiores gastos no setor. que do ponto de vista do gestor muni-
Nesse caso, o ganho líquido do municipal existe espaço para ganhos de or-
cípio em termos de recursos orçamen- çamento a partir de uma melhor gestão
tários livres seria pequeno. Os gráficos da educação.
■■ Gráfico 9: Gasto por Aluno em 2009 e avanço na nota de

matemática da 5a série entre 2008 e 2009
4500,0
4000,0
3500,0
Gasto / Aluno 2009
3000,0
2500,0
2000,0
1500,0
1000,0
500,0
0,0
-20,00 -15,00 -10,00 -5,00 0,00 5,00 10,00 15,00 20,00 25,00 30,00
Avanço Nota Matemática 2008-2009
■■ Gráfico 10: Gasto por Aluno em 2009 e avanço na nota de

português da 5a série entre 2008 e 2009
4500,0
4000,0
3500,0
Gasto / Aluno 2009
3000,0
2500,0
2000,0 2,73; 2128,6
1500,0
1000,0
500,0
0,0
-10,00 -5,00 0,00 5,00 10,00 15,00 20,00 25,00 30,00 35,00 40,00
114 Avanço Nota Português 2008-2009
Além disso, é importante ressaltar que, participação da receita de ICMS na arre-
principalmente para os municípios me- cadação total dos municípios em 2010.
nores, esse ganho de orçamento pode Em vários casos, essa participação supe-
ser substancial. O gráfico 11 mostra a ra os 15%.
■■ Gráfico 11: Participação da Receita de ICMS na arrecadação

total dos municípios cearenses em 2010
25,00%
20,00%
15,00%
ICMS/REC ORC
10,00%
5,00%
0,00%
0 50 100 150 200
Consideraçoes finais
O artigo apresenta uma lei inovadora no houve melhorias nos desempenhos dos
estado do Ceará em que indicadores de alunos, mas a um custo de maior desi-
resultados são usados para determinar gualdade medida pelo desvio padrão.
dotações orçamentárias. A principal mo- Os resultados mostraram também que
tivação da lei foi criar incentivos para a alguns municípios comportaram-se es-
procura por melhores resultados na edu- trategicamente e aproveitaram a nova
cação, saúde e meio ambiente pelos mu- lei para obter ganhos significativos em
nicípios do estado. seus orçamentos.
Após os quatro anos iniciais, há sinais Mais importante, parece que o princi-
positivos sobre o desempenho dos mu- pal objetivo da lei está sendo alcançado.
nicípios. A distribuição dos recursos Como os municípios competem para obter
ficou mais homogênea e a lei criou es- melhores resultados, eles avançam e fi-
paço para os municípios menores au- cam mais próximos em um nível mais alto
mentarem suas receitas. Na educação, de desempenho.

relatos de pesquisa
Contribuições da avaliação
do Programa de Formação
Continuada Multicurso
para o aprimoramento do
projeto educacional e para a
sociedade*
Introdução
Isa Cristina da O relato de pesquisa apresenta a professores, de novas práticas no
Rocha Lopes* avaliação do Programa de Forma- ensino da matemática. Esta ava-
ção Continuada Multicurso Mate- liação contou com as seguintes
* Este relato de pesquisa foi
produzido pela autora na mática, que prevê em seu escopo etapas: diagnóstico inicial, avalia-
Fundação Roberto Marinho,
como parte das atividades a formação de professores e gesto- ção de processo e avaliação dos
do projeto, com objetivo de resultados em dois momentos
res de escolas públicas de ensino
apresentação da experiên-
cia no Seminário da Rede médio, visando à melhoria do en- (fase I e fase II). Para a aferição
Brasileira de Monitoramento
em Brasília, 2011. sino-aprendizagem na disciplina. dos resultados do Multicurso,
tanto em relação ao desempenho
O Programa foi implementado em cognitivo quanto à adoção de no-
2008, em parceria com a Secretaria vas práticas de ensino, foram uti-
de Estado de Educação do Espírito lizadas metodologias qualitativas
Santo (Sedu-ES) e com a Fundação e quantitativas.
Roberto Marinho (FRM). Funda-
menta-se em uma rede de apren- A avaliação do desempenho cog-
dizagem colaborativa, combinando nitivo foi feita com a utilização da
recursos presenciais e a distância. métrica nacional do Sistema Na-
cional de Avaliação da Educação
A avaliação do Multicurso Mate- Básica (Saeb), permitindo a com-
mática teve como objetivos co- paração das informações com as
nhecer e indicar a contribuição avaliações estaduais e nacionais.
do Programa para a melhoria do
116
desempenho cognitivo dos alu- As medidas foram realizadas em
nos da rede estadual do ensino três momentos, 2008, 2009 e 2010,
116 médio e a adoção, por parte dos percorrendo desenho longitudinal.
A avaliação da adoção de novas práticas dos professores sobre a dinâmica de pla-
no ensino de matemática foi feita por nejamento, didática das aulas e novas
meio de duas estratégias: a primeira delas estratégias de ensino. Na quarta e última
centrou-se na percepção dos alunos so- parte, estão as considerações finais sobre
bre a prática pedagógica dos professores as contribuições do Multicurso e de seu
e foi verificada por meio de grupos focais processo de avaliação para a melhoria da
com tutores, coordenadores de grupos qualidade da educação em nosso país.
de estudo e alunos; entrevistas individu-
ais e coletivas com gerentes, assessores
e técnicos da Secretaria de Educação; e
Objetivos
questionário contextual com professores, O Programa Multicurso Matemática é uma
gestores, pedagogos e alunos. A segunda proposta formativa semipresencial desti-
procurou avaliar diretamente os professo- nada a professores, coordenadores peda-
res e, para tal, contou com oficinas de ava- gógicos e diretores de escolas das redes
liação de práticas pedagógicas e análise públicas de ensino médio, para promover
do Programa feita por especialistas, além a melhoria do ensino-aprendizagem da
dos meios utilizados na verificação da per- matemática. Assim, em 2008, a Sedu-ES
cepção dos alunos. firmou parceria com a Fundação Roberto
Marinho para desenvolver um programa
O relato apresenta contribuições do Pro- de formação continuada em matemática,
grama para o avanço do campo da inves- junto aos educadores que atuam no ensi-
tigação em educação, no contexto brasi- no médio em toda a rede estadual, com os
leiro, por meio da pesquisa longitudinal seguintes objetivos estratégicos: 1 – pro-
na avaliação do desempenho cognitivo mover a melhoria da aprendizagem em
dos estudantes e da adoção, em todas as matemática dos alunos do ensino médio
etapas do processo avaliativo, de métodos da rede estadual do Espírito Santo e 2 –
qualitativos e quantitativos como ferra- promover a apropriação dos princípios e
mentas complementares de pesquisa. recursos do Multicurso pelos professores
da rede estadual.
O documento está estruturado em 4 par-
tes: na primeira, apresentam-se os objeti- Fundamentalmente, a avaliação identi-
vos da avaliação; na segunda, descreve-se ficou se o Multicurso Matemática 2008
a metodologia; na terceira, os principais atingiu os objetivos previstos, por meio da
resultados da pesquisa, relacionados à investigação de seus resultados, no perío-
proficiência dos alunos e à percepção do compreendido entre 2008 e 2010.

Contribuições da avaliação do Programa de Formação Continuada Multicurso para o aprimoramento do projeto
educacional e para a sociedade
117
relatos de pesquisa
Metodologia
A pesquisa de avaliação contempla os se- Cabe esclarecer que, no Brasil, via de
guintes momentos articulados: diagnósti- regra, os projetos de avaliação educa-
co inicial (2008) e avaliação de processo cional em larga escala, já consolidados,
(2008/2009); análise do resultado da fase são estudos seccionais que mensuram
I (2009) e análise do resultado da fase II o desempenho dos alunos, em um dado
(2010). Seu desenho incorpora, portanto, momento, relacionando-o com o levan-
tanto um amplo diagnóstico inicial – li- tamento de informações contextuais so-
nha de base – como o acompanhamento bre os estudantes e suas escolas. Neste
de pontos-chave do processo e a análise caso, tem-se a medida de um conjun-
dos resultados produzidos pelo Programa to de habilidades que os alunos pos-
(fases I e II). suem, mesmo que uma parcela dessas
habilidades não tenha sido construída
Em relação ao aluno do ensino médio ca- no contexto escolar no qual ocorreu a
pixaba, a avaliação observou não apenas avaliação. Diferente dessa tendência e,
o desempenho, mas também a aprendiza- em certa medida, já contribuindo para
gem em matemática, por meio de um estu- o aprimoramento das avaliações edu-
do longitudinal, no qual a mesma amostra cacionais em nosso país, na presente
de escolas e de estudantes foi observada avaliação, optou-se por um desenho
em três momentos – T1, T2 e T3 –, confor- longitudinal, visto que, para se ter uma
me ilustração a seguir. medida de aprendizagem, é necessá-
rio que o mesmo aluno seja avaliado
mais de uma vez, verificando-se o que
Estudos seccionais Estudos longitudinais
ele aprendeu durante um determinado
período. Tal procedimento de medida
possibilita afirmar que a diferença veri-
ficada resulta da influência do contexto,
ou seja, focaliza a contribuição da escola
e também a do Multicurso Matemática.
Por esse motivo, a avaliação da aprendi-
Nessa direção, o T1 é um panorama da zagem foi efetuada mantendo a mesma
situação do ensino-aprendizagem no mo- amostra de alunos, de forma a estabe-
mento de implantação do Multicurso Ma- lecer as bases para o monitoramento
temática. O T2 traduz o momento final do dos participantes do Programa Multi-
primeiro ciclo de avaliação. O T3 represen- curso nos anos subsequentes, uma vez
ta o final do segundo ciclo de avaliação, que o impacto do Programa pode ocor-
no qual foi possível perceber avanços, es- rer não apenas no curto, mas no médio
tabilização ou retrocessos no aprendizado prazo. Trata-se de um processo cogniti-
e nas práticas pedagógicas realizadas pe- vo, resultado de processo de aquisição
los atores envolvidos no Programa. de conhecimento e apropriação de um
118
novo paradigma de ensino. Assim, os aponta para a impossibilidade de se es-
resultados não são imediatos. O Índice tabelecer um único método. É necessário
de Desenvolvimento da Educação Básica construir referenciais que possam dar con-
(Ideb), por exemplo, estabeleceu prazo ta da riqueza das ações que acontecem nos
longo para a elevação de índices refe- programas educacionais, muitas vezes não
rentes ao processo educativo. considerada, devido a visões redutoras da
realidade. Na perspectiva de superar o re-
A avaliação foi norteada pelo Quadro Ló- ducionismo, o desenho metodológico des-
gico do Programa, que contém a descrição ta avaliação procurou integrar abordagens
de vários indicadores de resultados, desde caráter qualitativo com as de caracterís-
tacando-se: ticas quantitativas, a fim de construir inter-
pretações mais abrangentes e complexas
—— diferença positiva obtida pelos alu- para os múltiplos fenômenos da realidade
nos [3º ano] do ensino médio da analisada, constituída por dimensões his-
rede estadual no Saeb/Prova Brasil tóricas, políticas, econômicas e culturais.
anterior e posterior ao Multicurso; Na avaliação da fase III do Programa, em
virtude de restrições orçamentárias, ado-
—— diferença positiva do desempenho
tou-se apenas a abordagem quantitativa.
dos alunos da amostra [3º ano] do
ensino médio nos testes de aprendi-
Deve-se registrar que a avaliação da fase
zado do Multicurso;
I contou com a participação de um am-
—— percepção mais positiva (gosto e fa- plo conjunto de sujeitos. Além de alunos
cilidade) dos alunos em relação aos e professores, foram envolvidos: equipes
conteúdos de matemática; técnicas da Sedu-ES, superintendentes
—— percepções dos professores em re- regionais, técnicos das Superintendên-
lação: i) aos alunos e ao ensino de cias Regionais de Ensino, coordenadores
matemática, ii) a indicadores contex- de grupos de estudo, diretores escolares
tuais, motivação e adoção de novas e coordenadores pedagógicos. Na fase
práticas pedagógicas e iii) às contri- III, entretanto, participaram como sujei-
buições do Multicurso. tos da avaliação apenas alunos e pro-
fessores do ensino médio, por meio dos
Perspectiva metodológica da procedimentos descritos a seguir:
pesquisa de avaliação
a) verificação da proficiência dos alunos
A experiência de avaliação nas áreas so- em matemática – aplicação de prova de
ciais (GIL, 1999; MINAYO, 2003; BOAVEN- matemática e questionário sociodemográ-
TURA, 2009), como é o caso da educação, fico, desenvolvido especificamente para

119
relatos de pesquisa alunos do 3º ano do ensino médio nas 78 ma. Procurou-se, assim, traçar na fase I
escolas selecionadas para a amostra da (2008) da avaliação, mediante questio-
avaliação do Multicurso, contemplando nários autoaplicáveis, o perfil de entra-
10.440 alunos, aproximadamente. da no Programa (Marco Zero), incluindo
expectativas em relação ao Multicurso e
Para captar a aprendizagem em mate- práticas pedagógicas de ensino em mate-
mática, conforme mencionado, foi reali- mática. No caso dos professores, não foi
zado um estudo longitudinal. Em 2008, estabelecida uma amostra, buscando-se
os alunos que estavam cursando o 1º alcançar todos os docentes participan-
ano do ensino médio responderam aos tes do Multicurso Matemática. Em 2009,
testes de proficiência e aos questionários uma segunda onda de avaliação foi pro-
contextuais, cujos resultados constituem movida, nas bases da anterior, a fim de
o perfil de entrada. Em 2009, estes traçar a evolução. Tal como em 2008,
mesmos alunos participaram da segunda foram enviados questionários a todos
onda de avaliação. Além deles, neste ano, os professores envolvidos, incluindo-se
foram incorporados na avaliação os novos os que foram incorporados ao Programa
alunos que ingressaram no 2º ano nas apenas em 2009. Finalmente, em 2010, a
escolas sorteadas. Em 2010, participaram terceira onda de avaliação foi igualmente
da terceira onda de avaliação os alunos do destinada a todos os professores envol-
3º ano que cursaram o 2 ano, em 2009,
o vidos no Multicurso, agregando-se, assim,
incluindo, também, os transferidos de aqueles que não participaram das etapas
outras unidades escolares. anteriores de avaliação.
Também participaram, em 2010, aqueles

Principais resultados
alunos que, porventura, ficaram retidos ou
repetiram o 2º ano do ensino médio e que
da avaliação
permaneceram na escola e, ainda, os que,
Sobre os alunos
em 2008, estavam na escola no 1º ano do
ensino médio e que ficaram defasados em A análise aqui apresentada focaliza, nesta
relação à série. A proficiência foi estimada seção, o aprendizado em matemática dos
utilizando-se a Teoria de Resposta ao Item alunos. Nesse sentido, cabe recuperar in-
Paramétrica, com o propósito de equalizar dicadores de resultados pretendidos pelo
as escalas para os diferentes anos e tam- Multicurso em relação à:
bém com a escala do Saeb.
—— evolução do perfil sociodemográfico;
b) survey junto ao universo de profes- —— diferença positiva do desempenho,
sores envolvidos no Programa – du- tanto nos testes de Proficiência da
rante o mês de outubro de 2010 foram Avaliação do Multicurso (1º, 2º e
distribuídos questionários sociodemo- 3º anos) como no Saeb (3º ano)
gráficos contextuais destinados a todos do ensino médio da rede estadual
120 os docentes participantes do Progra- (2009/2007);
—— percepção positiva da importância pital cultural como o conjunto dos bens
da matemática na vida e na relação culturais transmitidos pelas diferentes
dos alunos com os conteúdos da ações pedagógicas familiares. Na análise
disciplina. desenvolvida, a caracterização do capital
cultural do aluno leva em conta seus há-
No instrumento da avaliação de 2010, fo- bitos de leitura, a assiduidade em fren-
ram mantidas as variáveis selecionadas te à televisão, a frequência com que ele
para as avaliações anteriores, associadas navega na internet, conversa com amigos,
a construtos definidos a partir de teorias a prática de esportes, entre outros que
e resultados de pesquisas educacionais definem um ambiente mais ou menos fa-
nacionais e internacionais. Nessa perspec- vorável às realizações educativas.
tiva, a literatura tem enfatizado, de forma
recorrente, que aspectos socioeconômi-
A referência básica ao capital social, por
cos e demográficos têm grande influência
sua vez, encontra-se em Coleman et al.
nos resultados educacionais (COLEMAN et
(1966), ainda que o conceito também apa-
al., 1966; CUNHA, 1975).
reça nos trabalhos de Willms (1998) e de
Silva e Hasenbalg (2000), entre outros. O
Além desses aspectos, é relevante a capital social é definido pela quantidade
mensuração de outras características de vínculos sociais com que o indivíduo
dos alunos e de suas famílias, que guar- pode contar no lugar em que vive para fa-
dam relação com o desempenho educa- cilitar a sua ação dentro da estrutura so-
cional. Assim, no questionário do aluno, cial. Na família, este conceito é traduzido
foram privilegiadas, além da caracteriza- nas relações entre pais e filhos, uma vez
ção sociodemográfica, o capital cultural, que o questionário do aluno inclui ques-
o capital social, as práticas de estudo, a tões sobre a estrutura familiar (com quem
percepção dos alunos sobre a escola e mora, por exemplo).
sobre as práticas pedagógicas dos seus
professores de matemática. A caracteri-
Evolução do perfil
zação foi feita a partir de discriminantes
sociodemográfico
individuais que permitem a divisão dos
estudantes em subgrupos (idade, gênero, Comparando-se resultados de 2010 com
cor e outros aspectos apontados como anos anteriores, observa-se que a maio-
importantes pela literatura e pelo con- ria dos estudantes participantes da pes-
texto específico do estudo em pauta). O quisa continuou sendo do sexo feminino.
capital cultural é um conceito incorpora- Além disso, a maior parte dos pesquisa-
do aos estudos educacionais a partir dos dos se autodeclarou de cor parda, afir-
escritos de Pierre Bourdieu sobre repro- mou ter religião – principalmente cristã
dução social. Lareau (1987) define ca- – e mais de 80% possuíam renda familiar

121
relatos de pesquisa de até 4 salários mínimos. A comparação revista, vem crescendo o percentual daque-
dos dados de 2010 com as avaliações les que o fazem de vez em quando. Merece
anteriores mostra que houve pequenas destaque, embora decrescente, a alta per-
alterações em alguns aspectos que me- centagem de alunos que nunca ou quase
recem destaque: aumentou a proporção nunca realiza estas leituras (30% em 2010).
de estudantes do sexo feminino; cresceu,
também, a proporção de estudantes de Os questionários respondidos pelos
cor branca, sendo que a renda dos alunos alunos também investigaram o uso co-
é mais baixa, proporcionalmente. tidiano do tempo fora da escola. Para a
maioria, o tempo alocado nos trabalhos
Quanto à escolaridade dos pais, conside- domésticos varia entre uma e quatro ho-
rada baixa nos três anos da investigação, ras de atividades/dia. Apenas 19% indi-
verifica-se que cerca de 1/3 deles têm até caram não realizar estas atividades. Em
a 4ª série do ensino fundamental, confir- relação ao estudo e ao dever de casa,
mando o fenômeno do aumento de esco- verificou-se que houve uma pequena
laridade intergeracional no país. melhora no percentual dos estudantes
que dedicam entre 1 e 2 horas diárias ao
Os resultados de avaliações nacionais estudo fora da escola (de 26% em 2009
no Brasil, como os do Saeb, indicam que para 28% em 2010). Chama a atenção
o fator “hábito de leitura” está associa- o fato de 1/10 dos alunos, nas três ava-
do ao maior desempenho dos alunos, liações, não realizar atividades extraes-
em todas as séries avaliadas. Em razão colares deste tipo. Este é um resultado
disso, o questionário averiguou os hábi- importante, porque o dever de casa vem
tos de leitura dos estudantes. As respos- sendo considerado um fator de impacto
tas em 2008, 2009 e 2010 indicam que no rendimento escolar. Dados do Saeb
o tipo de leitura preferida é o jornal: em demonstram que os alunos que fazem
2008/2009, quase 40% dos alunos liam dever de casa têm um desempenho es-
jornais com assiduidade, índice que subiu colar bastante superior ao daqueles que
para 42% em 2010. Com relação à leitura não o fazem.
de livros de literatura, nas três avaliações,
os extremos praticamente se equiparam: Outro aspecto investigado que, em par-
cerca de um quarto dos alunos lê livros de te, contribui para explicar a baixa carga
literatura com bastante assiduidade e ou- horária de estudos em casa é a condição
tro quarto deles nunca ou quase nunca faz de trabalho dos alunos. No período ana-
este tipo de leitura. lisado, o percentual de alunos que traba-
lham subiu de 38% em 2008 para 44%
A leitura de revistas de informação geral em 2009 e para 46,3% em 2010, sendo
também está incluída nas atividades da os motivos, em sua maioria, relacionados
maioria dos alunos, sendo observada nas às condições econômicas de suas famílias.
três avaliações. Embora poucos tenham o Dos que trabalhavam, em 2010, 40% ti-
122 hábito de ler com assiduidade este tipo de nham uma carga semanal de mais de 20
horas, evoluindo para 47%, em 2008, A melhora mais expressiva é observada
48%, em 2009, e 57%, em 2010. Conci- em números e tratamento da informação.
liar estudo e trabalho atrapalha de alguma
forma os estudos. Como a prova de matemática aplicada
no Multicurso apresenta itens em co-
mum com o Saeb, foi possível construir
Desempenho dos alunos – uma medida de desempenho da avalia-
2008, 2009 e 2010 ção do Multicurso 2008, 2009 e 2010,
De modo geral, a partir dos resultados na mesma escala de proficiência do
alcançados no teste cognitivo Multicurso Saeb e, também, da Prova Brasil (quadro
2010, pode-se aferir que a maioria dos 1). Tornou-se assim possível comparar o
alunos teve índice de acerto superior aos desempenho na avaliação do Multicurso
verificados em 2009. Estimou-se a pro- Espírito Santo-ES 2008, 2009 e 2010
ficiência a partir da Teoria de Resposta com a Prova Brasil da 8ª Série do ensino
ao Item Paramétrica, com o propósito de fundamental nos anos de 2005 e 2007,
harmonizar as escalas para os diferentes bem como do Saeb para o 3º ano do en-
anos e também com a escala do Saeb. sino médio em 2009.
■■ Quadro 1: Escala de proficiência do Saeb, Prova

Brasil e Multicurso Matemática
Fonte: MEC. Prova Brasil - SAEB

123
relatos de pesquisa ■■ Gráfico 1: Média da proficiência em matemática por
avaliação – rede estadual do Espírito Santo
Fonte: MEC, 2005, 2007 e 2009: Avaliação Externa do Multicurso Ensino Médio - Matemática 2008, 2009 e 2010
Os resultados apontados no gráfico 1 in- 6 da escala de proficiência e superando

dicam um recuo na proficiência, na Prova todos os resultados das avaliações ante-
Brasil, dos alunos de 8ª série no Espírito riores. Os resultados do teste de 2010,
Santo entre 2005 e 2007, o que foi ob- se comparados com os de 2009, repre-
servado também em outros estados bra- sentam um aumento ainda maior na pro-
sileiros. O resultado da primeira onda de ficiência dos alunos, saltando de 251,50
avaliação do Multicurso, em 2008, foi para 272,09. O crescimento significativo
praticamente igual à média da rede esta- de 20 pontos na escala não resultou em
dual capixaba na Prova Brasil na 8ª série mudança de faixa, embora muito próximo
do ensino fundamental, no ano de 2007. do limite inferior da faixa 7 (ver quadro 1).
A proximidade cronológica entre a Prova O desempenho avaliado no Multicurso,
Brasil (novembro de 2007) e a avaliação em 2010, está muito próximo ao desem-
do Multicurso (agosto de 2008) pode ex- penho da rede estadual do Espírito Santo
plicar este resultado, pois, tradicional- avaliado pelo Saeb em 2009.
mente, grande parte do primeiro semestre
do 1º ano do ensino médio é dedicada à Os resultados do desempenho médio em
revisão e à consolidação de habilidades cada um dos estratos evidenciam varia-
aprendidas no ensino fundamental. ções importantes dentro da rede estadu-
al, comparando-se os resultados de 2008
Comparando as médias de proficiência e 2009 com os de 2010. Considerando
captadas exclusivamente pelas avaliações que a média geral da rede estadual foi de
do Multicurso, tem-se uma melhora nas 272,09 pontos, em 2010, os grupos com
duas primeiras avaliações: a média geral desempenho abaixo desse valor são das
saiu de 242,56 para 251,50 pontos em SRE de: Linhares, Carapina, Cariacica, Vila
2009, passando do nível 5 para o nível Velha e, ainda, das escolas técnicas. No
124
grupo dos que apresentam melhor de- No que concerne à distribuição dos alu-
sempenho, destaca-se a SRE de Afonso nos pelos níveis de proficiência (gráfico
Cláudio, com 29 pontos acima da média 2), verifica-se um progresso significativo
geral. Em contrapartida, a SRE de Cariacica em relação aos resultados de 2009, pois
continua a ser a regional com o desempe- houve redução nos percentuais refe-
nho médio mais baixo, isto é, 17 pontos rentes às faixas de baixa proficiência e
abaixo da média geral. aumento nas últimas faixas. No entan-
to, observa-se que, em 2010, 53% dos
Em relação à média de desempenho alunos estão nos níveis 5, 6 e 7 e 13%
em matemática por turno de ensino estão no nível 8, considerado como
em 2008, 2009 e 2010, verificaram-se satisfatório para o final do ensino fun-
pequenas diferenças entre os alunos damental e médio. Cabe enfatizar que
do turno da manhã e da tarde nas três 17% dos alunos ainda estão nos níveis
etapas da avaliação. Entre 2008 e 2009, correspondentes às habilidades muito
o maior crescimento no desempenho básicas – abaixo do nível 5.
ocorreu entre os alunos do noturno.
Em 2010, significativos avanços ocor- Na comparação dos resultados da profi-
reram nos turnos da manhã (diferença ciência, considerando o perfil dos alunos,
de 25 pontos) e da tarde (diferença de é possível afirmar que, nas três etapas
22 pontos), enquanto, no noturno, o da pesquisa, a média de proficiência é
aumento foi de 15 pontos na escala do maior entre os alunos brancos e os do
desempenho. sexo masculino. Em relação à idade, nas
■■ Gráfico 2: Distribuição (%) dos alunos por nível de

proficiência em matemática
Fonte: Avaliação Externa do Multicurso Ensino Médio - Matemática 2008, 2009 e 2010.

125
relatos de pesquisa ■■ Tabela 1: Proficiência média em matemática dos alunos
segundo seu perfil
Fonte: Avaliação Externa do

Multicurso Ensino Médio-Mate-
mática 2008, 2009 e 2010.
duas primeiras avaliações, os mais jovens heterogeneidade, foi criada uma medida
alcançaram melhores desempenhos, o de nível socioeconômico (NSE). Esta medi-
que não ocorreu em 2010. Além desses da foi estimada para o conjunto de alunos
grupos de alunos, em 2009 e em 2010, avaliados e a escala foi construída a partir
a proficiência também é maior entre os da utilização de análise de componentes
religiosos. principais, considerando indicadores de
posse de bens econômicos (bens durá-
Uma das evidências estabelecidas de veis), nível de escolaridade dos pais e ren-
forma mais estável no campo da sociolo- da familiar.
gia da educação diz respeito às relações
entre desigualdades sociais e condições Os alunos das SRE de Carapina, Vila Ve-
de oferta educacional. Inúmeras pesqui- lha e os das escolas que ofereciam cur-
sas atestam que o contexto geográfico sos profissionalizantes continuam sendo
onde se insere a escola desempenha os que possuíam melhores condições
papel relevante na distribuição social socioeconômicas. Em 2010, a SRE de
da educação (FRANCO, MANDARINO e Cariacica passou também a integrar este
ORTIGÃO, 2001; ALBERNAZ, FERREIRA e grupo. Estas escolas reúnem, principal-
FRANCO, 2002). mente, os alunos provenientes da Gran-
de Vitória e dos municípios do entorno.
Em termos sociais e econômicos, as popu- As escolas localizadas na zona rural e nas
lações dos municípios capixabas são bem superintendências de Colatina e Guaçuí
diferentes entre si. Com a finalidade de recebem uma clientela com condições
realizar uma análise capaz de captar esta socioeconômicas menos favorecidas.
126
■■ Gráfico 3: Média do desempenho segundo o NSE
2008 2009 2010 278,7
269,1
255,4
248,1
245,4
239,8
NSE abaixo da média NSE acima da média
Fonte: Avaliação Externa do Multicurso Ensino Médio - Matemática 2008 e 2009.
Uma análise exploratória descritiva Percepção da importância

permite associar o desempenho em
de matemática na vida dos
matemática com as características so-
alunos
ciais e econômicas dos alunos, tanto
para a rede estadual em geral, quanto Verificou-se ligeiro declínio no percentual
para cada um dos estratos investigados. de valorização da instituição escolar no
De modo geral, aqueles com NSE baixo período analisado, uma vez que, em 2008,
estão, aproximadamente, três pontos 64% atribuíram nota 10 para a importân-
abaixo da média geral de proficiência cia da escola em suas vidas, contra 60%
da rede, nas três avaliações. em 2009 e 61% em 2010. A matemática
tem uma percepção menos expressiva,
Pode-se observar, entretanto, que a SRE pois 44% atribuíram nota 10 para a im-
de Afonso Cláudio atendia a uma clientela portância dessa disciplina em suas vidas
de alunos com NSE abaixo da média e pos- em 2008 e 43% em 2009, reduzindo para
suía o desempenho mais elevado (gráfico 40% em 2010.
4). Por sua vez, nas superintendências de
Carapina e Vila Velha, o desempenho situ- A esse respeito, em que pese a conhecida
ava-se abaixo da média da rede estadual, impressão de que a matemática é um “bi-
a despeito de atenderem os alunos com cho papão”, os alunos participantes dos
as melhores condições socioeconômicas. grupos focais, nas avaliações de 2008 e

127
relatos de pesquisa ■■ Gráfico 4: Dispersão entre desempenho médio e NSE médio
por estrato – 2010
Fonte: Avaliação Externa do Multicurso Ensino Médio - Matemática 2010.
2009, não a confirmaram, nem indicaram Evolução do perfil

gostar menos da matemática em razão das sociodemográfico
suas eventuais dificuldades. O que desta-
caram, nos dois momentos, foi a relação Como ocorreu em 2008 e em 2009 (56,0%
entre gostar de qualquer matéria e a for- e 50,4%, respectivamente), em 2010, a
ma de ensinar do professor. maior parte dos professores responden-
tes continuava sendo do sexo feminino
(58,0%), com idade igual ou superior a 30
Sobre os professores anos (73,0%), formação superior em ma-
A análise aqui apresentada focaliza, nes- temática (71,1%), sem exercer outra ativi-
ta seção, a percepção dos professores de dade além da docência (77,1%).
matemática. Nesse sentido, cabe recupe-
rar indicadores de resultados pretendidos De forma geral, houve poucas alterações
pelo Multicurso Matemática em relação a: no período compreendido entre 2008
e 2010. Em relação à renda familiar da
—— evolução do perfil sociodemográfico e maioria dos professores, igual ou supe-
—— percepções dos professores no que rior a quatro salários mínimos, o percen-
se refere: i) aos alunos e ao ensi- tual obtido em 2010 (72,7%) é quase o
no de matemática, ii) a indicadores mesmo do verificado em 2008 (72,3%).
contextuais, motivação e adoção de Quanto à experiência profissional, o per-
novas práticas pedagógicas e iii) às centual de professores com mais de dez
128 contribuições do Multicurso. anos de magistério aproximava-se de
50%, com pequena variação nas três fa- Há um aumento de 25,7% em relação à
ses da pesquisa. situação de 2008, compatível com o alto
índice de professores matriculados em
Verificou-se também o aumento de docen- cursos de especialização.
tes com vínculo efetivo a partir de 2009
(36,0%), tendência mantida também em
2010 (37,7%). Ressalta-se que, apesar da
Percepções dos professores:
redução dos percentuais de professores os alunos e o ensino da
com vínculo temporário, na comparação matemática – expectativas
entre os anos de 2008 e de 2010, os índi- dos professores em relação
ces de docentes nessa condição permane- aos alunos
cem elevados (59,1%). Como já abordado na Avaliação Marco
Zero, as pesquisas em sociologia da edu-
Do ponto de vista da escolaridade, o cação têm reiteradamente identificado a
conjunto investigado de professores, em relevância das expectativas dos profes-
2010, apresenta quantidade superior de sores sobre os alunos em termos de suas
docentes com pós-graduação (lato sensu). perspectivas ou chances de sucesso esco-
■■ Tabela 2: PropOrção de professores, por conforto em

ensinar aos alunos e maior dificuldade dos alunos, segundo
os conteúdos de matemática do ensino médio
Fonte: Avaliação do Programa de Formação Continuada - Multicurso Matemática Ensino Médio - ES,
2008/2009/2010.

129
relatos de pesquisa lar e eventual mobilidade social (SAM- em relação a um maior conforto para
MONS et al., 1995) e seu potencial de ensinar, por exemplo, progressão ge-
impacto no desempenho escolar. ométrica/quadrática, trigonometria e
função afim em 2008 (10,6%, 16,5%
Em 2010, a maioria dos professores e 19,8%, respectivamente), progressão
indicou que conhece os resultados do geométrica/quadrática e trigonometria
Saeb, do Programa de Avaliação da Edu- (19,2 e 26,0%, respectivamente) em
cação Básica e do Ideb. Portanto, suas 2009 e função exponencial, trigonome-
expectativas em relação aos alunos es- tria e matrizes e sistemas de equações
tão pautadas nos resultados concretos (1,0%, 3,1% e 3,2%, respectivamente)
de avaliação da aprendizagem no Espíri- em 2010.
to Santo. Em termos gerais, há uma ten-
dência de ampliação das expectativas Em relação às dificuldades dos alunos,
em relação ao futuro dos alunos. segundo os professores, encontrou-se
certa correspondência, ou seja, trigono-
É preciso considerar que essas metria está, igualmente, entre os conte-
expectativas são desenvolvidas a údos que o aluno tem mais dificuldade
partir de um conjunto muito extenso para aprender. Destaca-se, ainda, a geo-
de fatores, marcados, também, pela metria, que, segundo um terço dos pro-
conjuntura socioeconômica e política fessores, é um dos conteúdos que traz
local e nacional. Por outro lado, é dificuldades para os alunos.
importante lembrar que o fato de os
professores já terem diante de si alunos Aos professores perguntou-se, também,
em um estágio mais avançado de esco- se todos os conteúdos tinham sido tra-
larização influencia suas expectativas balhados e os motivos pelos quais não
em relação ao grupo. conseguiram trabalhar toda a matéria
prevista. Nos três momentos de avalia-
ção foi pouco expressivo o índice da-
Os professores e o ensino
queles que conseguiram trabalhar os
de conteúdos da matemática
conteúdos previstos. A impossibilidade
De maneira geral, percebe-se que, em de ensinar os conteúdos tem razões
relação a todos os conteúdos de todas diversas. Destaca-se, em 2008, 2009
as séries, expressiva parcela dos pro- e, com menor ênfase, 2010, a falta de
fessores consultados em 2008, 2009 e tempo disponível e de conhecimentos
2010 sente algum tipo de desconforto anteriores por parte dos alunos. Ressal-
para ensinar um ou mais conteúdos da ta-se, também, que os professores, de
matemática, sendo equação de segun- forma geral, não consideram que a falta
do grau o conteúdo que promove mais de condições de trabalho tenha contri-
conforto aos professores. Chamam a buído significativamente para não con-
atenção os baixos índices encontrados seguir ensinar todo o conteúdo previsto.
130
Percepções dos nos, configurando o que se convencio-
professores: aspectos nou denominar de eficácia escolar. Por
contextuais, motivação esse motivo, a avaliação do Multicurso
e práticas pedagógicas Matemática conferiu centralidade à in-
adotadas vestigação desses aspectos em todas as
fases da pesquisa.
A pesquisa sobre fatores associados ao
aumento do desempenho dos alunos,
bem consolidada nos cenários interna- Verificou-se que, segundo os professo-
cional e brasileiro (BROOKE & SOARES, res1, na comparação entre 2008 e 2010,
2008), tem enfatizado a relação do re- o problema da falta de recursos finan-
sultado educacional com indicadores ceiros se ampliou em 5 SRE: Barra de
contextuais e as contribuições expres- São Francisco, Cariacica, Nova Venécia,
sivas dos diferentes agentes escolares São Mateus e Vila Velha. Ainda de acor-
(professores, coordenadores e direto- do com os docentes, esse problema, em
res) na constituição de uma cultura da 2010, é menor nas SRE de Afonso Cláu-
unidade escolar que favorece a apren- dio, Cachoeiro de Itapemirim, Carapina,
dizagem e o bom desempenho dos alu- Colatina, Guaçuí e Linhares.
■■ Gráfico 5: média do índice de falta de pessoal por sre
1 As escolas apresentadas nos gráficos 5, 6 e 7 foram construidas a partir das respostas dos 366 professores que
participaram dos surveys de 2008 e 2010.

131
relatos de pesquisa A falta de pessoal, por sua vez, escala Motivação e práticas
que agrega a carência de pessoal admi- pedagógicas adotadas pelo
nistrativo, de apoio e de professores para professor
as disciplinas, é analisada no gráfico 5, sen-
do que os valores positivos indicam pro- O gráfico 6 mostra os resultados, por SRE,
blema de falta de pessoal nas escolas e os dos níveis de disposição/motivação para
valores negativos indicam baixa frequên- o trabalho docente. Nesta escala, são
cia desse problema. Para os professores, consideradas: a satisfação com o salário, a
a situação em 2010, em comparação com energia para trabalhar, o grau de estímulo
2008, estava, em níveis diversos, mais fa- com o trabalho desenvolvido, entre outros
vorável em cerca da metade das SRE, isto aspectos. Destacam-se, neste caso, os
é, em Afonso Cláudio, Carapina, Cariacica, resultados diferenciados positivamente
Colatina, Linhares e Nova Venécia. Por sua da SRE de Barra de São Francisco. No
vez, nas SRE de Cachoeiro de Itapemirim, entanto, de forma geral, houve queda nos
Guaçuí e São Mateus, a situação, segundo níveis de disposição e motivação para o
os professores, teria se agravado. trabalho dos professores da maioria das
■■ Gráfico 6: média do índice de disposição/motivação para

o trabalho por sre

132
■■ Gráfico 7: média do índice frequência de uso de recursos
pedagógicos por sre
SRE, quadro compatível com a realidade apenas nas SRE de Afonso Cláudio, Carapi-
do professorado da rede pública de outros na, Guaçuí e Nova Venécia. Por sua vez, os
estados, analisada em vários estudos dos resultados foram menos favoráveis nessa
últimos anos (UNESCO, 2003; 2004; OLI- comparação nas SRE de Barra de São Fran-
VEIRA et al., 2004). cisco, Cachoeiro de Itapemirim, Cariacica,
Colatina, Linhares São Mateus e Vila Velha.
Um dos aspectos relevantes do processo A tendência, portanto, é de piora.
de ensino-aprendizagem é a avaliação do
aluno. A utilização de diversas formas de O gráfico 7 apresenta situações distintas
avaliação pode oferecer diferentes visões em relação ao uso de recursos pedagó-
sobre como os alunos estão aprendendo gicos pelos professores de matemática
os conteúdos ensinados, favorecendo diag- nas SRE, na comparação entre 2008 e
nósticos mais acurados da aprendizagem. 2010. Enquanto cerca da metade das
Na comparação entre 2008 e 2010, houve SRE – Afonso Cláudio, Barra de São Fran-
maior diversificação nas práticas avaliativas cisco, Cariacica, Colatina e Guaçuí – evi-

133
relatos de pesquisa denciou, em 2010, melhores índices do 2010, 16,4% dos participantes da pes-
que os encontrados em 2008, as SRE quisa indicaram que o Multicurso não
de Cachoeiro de Itapemirim, Carapina, ajudou a melhorar a sua prática como
Linhares, Nova Venécia, São Mateus e professores. A quase totalidade dos pro-
Vila Velha, no mesmo período, indica- fessores destacou que procurou partici-
ram declínio nos índices de utilização par de todas as atividades do Multicurso.
de recursos pedagógicos. Os contrastes
negativos mais expressivos são em São O percentual de professores que, em
Mateus e Vila Velha. 2010, tem a pretensão de continuar a uti-
lizar os materiais do Multicurso, em todas
Percepções dos professores: as SRE, é elevado (cerca de 90%). A fre-
quência de utilização desses materiais
o Multicurso Matemática e
por parte dos professores, entretanto,
suas contribuições
é diversa, destacando-se o livro do
Em 2010, os professores destacaram, professor como aquele mais utilizado
em sua maioria e com níveis diversos de semanalmente e quinzenalmente. As
concordância, as contribuições do Pro- fichas de matemática e cidadania foram
grama acerca de uma maior segurança os recursos menos utilizados por, aproxi-
em relação aos conteúdos que ensinam, madamente, 75% dos professores pes-
ao uso de materiais pedagógicos mais quisados em 2010.
criativos e a uma melhoria no aprendiza-
do e motivação dos alunos para estudar No que se refere à utilização de fitas
matemática (tabela 3). de vídeo e/ou DVD como recurso pe-
dagógico, verificou-se que, em 2010, a
Os professores ressaltaram o trabalho em maioria dos docentes indicou que esses
colaboração com os colegas como decisi- materiais são utilizados algumas vezes
vo ao seu aproveitamento no Multicurso. por semana (58,4%). Ainda que baixo,
Consideraram, ainda, que o Programa foi chama a atenção o percentual daqueles
bastante útil para sua prática pedagógi- que não os utilizam porque a escola não
ca, atendendo às suas expectativas. Em dispõe desses recursos.
134
■■ Tabela 3: proporção de professores que atribuíram
total ou média concordância segundo alguns aspectos
proporcionados pelo multicurso - 2010
Professores (%)
Aspectos proporcionais Nível de concordância
Total (5) Média (4)
Sinto-me mais seguro (a) em relação aos conteúdos que ensino 49,6 34,5
Percebo que houve melhoria no aprendizado dos alunos 33,9 41,5
Sinto-me motivado para buscar materiais pedagógicos mais criativos 52,3 36,6
Percebo que houve melhoria na motivação dos alunos para estudar
32,7 38,3
matemática
Aumentou a chance de compartilhar problemas e práticas
45,4 37,2
pedagógicas com os colegas
Fonte: Avaliação do Programa de Formação Continuada - Multicurso Matemática Ensino Médio - ES, 2010.
Considerações finais
Uma vez expostos os principais resultados O Multicurso Matemática configura-se
observados na avaliação externa do Mul- como proposta de intervenção no en-
ticurso Matemática, apresentamos nesta sino médio, última etapa da educação
seção algumas considerações sobre estes básica, destinada à consolidação e ao
resultados, suas relações com os objetivos aprofundamento dos conhecimentos
do Programa e suas contribuições para a adquiridos no ensino fundamental, à
melhoria da qualidade dos processos de preparação básica para o trabalho e a ci-
ensino-aprendizagem em nosso país. dadania, ao aprimoramento do educan-

135
relatos de pesquisa do como ser humano e à compreensão é confirmada. Trata-se, portanto, de um
dos fundamentos científico-tecnológicos dado importante que reitera a situação de
dos processos produtivos. É nessa con- inequidade já observada em outras ava-
juntura desafiante que as próximas indi- liações e demanda estudos que ajudem
cações devem ser consideradas. a pensar em políticas publicas e projetos
educacionais mais equânimes.
Em relação à melhoria da aprendizagem
em matemática, os resultados mostram
Em consonância com os achados das pes-
que a proficiência dos alunos cresceu de
quisas educacionais no Brasil, mantêm-se
forma discreta, porém progressiva, em
como desafios a serem enfrentados pela
todo o período. A diferença, portanto, na
Sedu-ES:
comparação do desempenho dos alunos
é positiva.
—— os índices dos alunos das classes no-
turnas, que permanecem com menor
A evolução da aprendizagem apresenta,
desempenho em relação aos demais
contudo, diferenciais se considerados os e
perfis dos alunos. Neste sentido, dialogam
—— o crescimento progressivo do núme-
com as pesquisas educacionais, inclusive
ro de alunos que estudam e traba-
no que se refere à equidade de desempe-
lham ao mesmo tempo.
nho escolar, por gênero e cor. Segundo,
por exemplo, Soares (2004), no Brasil, os No que concerne à apropriação de prin-
alunos que se autodeclaram brancos têm cípios e materiais do Multicurso e aos as-
melhor proficiência quando comparados pectos relacionados a essa apropriação,
com alunos que se autodeclaram pretos, ressalta-se o crescimento, no período, das
e, em matemática, os meninos têm melhor expectativas positivas dos professores em
desempenho que as meninas. Na avalia- relação aos seus alunos, dos níveis de co-
ção do Multicurso, esta realidade também laboração docente ampliados e da maior
136
ênfase conferida às práticas pedagógicas Nesse sentido, recomenda-se que, em ou-
contextualizadas. Além disso, as dificul- tras análises, seja enfatizada a pesquisa
dades conceituais dos professores estão de natureza qualitativa, em todas as fases,
sendo identificadas e enfrentadas, com que contribua para a compreensão dessas
sucesso, segundo os próprios. diferentes situações. Propõe-se, também,
em especial, um estudo de caso junto a
Considerando a avaliação amplamente professores, diretores, coordenadores e
positiva do Multicurso como programa de alunos da SRE de Afonso Cláudio com o
formação continuada, pelos professores, é objetivo de identificar que aspectos con-
possível sugerir que os resultados do Pro- tribuíram de forma constante para o de-
grama, em relação aos professores, sejam, sempenho positivo dos alunos.
neste momento, mais visíveis no âmbito
das ações do próprio Multicurso, sem que Por fim, espera-se que o presente artigo,
os efeitos tenham se irradiado com a mes- com a análise do ciclo 2008-2009-2010
ma intensidade e qualidade nas escolas, do Programa Multicurso, além das con-
lembrando que outros atores envolvidos, tribuições verificadas no que concerne à
tais como gestores escolares não partici- melhoria da qualidade dos processos edu-
param do mesmo processo. cacionais, forneça subsídios para a tomada
de decisões, aprimoramento das práticas
De toda forma, cabe assinalar uma grande de ensino-aprendizagem e que a discussão
diversidade de situações entre as SRE no dos seus resultados inspire todos os ato-
que diz respeito ao professor, à sua mo- res envolvidos a buscar alternativas para
tivação, às suas práticas e possibilidades, a educação pública de qualidade para to-
sugerindo que, em outras oportunidades, dos, não apenas em relação aos conteúdos
a pesquisa possa inserir análises contex- de matemática e não apenas no estado do
tualizadas localmente a fim de traçar uma Espírito Santo, mas em relação às demais
evolução precisa dos resultados. disciplinas e em todo o território nacional.

137
Participação e
relatos de pesquisa
implementação de políticas
públicas diferenciadas:
experiências de avaliação
sobre comunidades
quilombolas
Introdução
As comunidades negras rurais, sileiro passou a corrigir a histórica
Marina Pereira Novo* também conhecidas como qui- exclusão das “comunidades rema-
Júlio César Borges*
lombos, são grupos que possuem nescentes de quilombos”2. Além
Rovane Battaglin Schwengber Ritzi*
Júnia Valéria Quiroga da Cunha* identidade étnica diferenciada e de reconhecer a contribuição des-
Cristiane dos Santos Pereira* dependem da terra para sua re- ses grupos para a formação do pa-
Alexandro Rodrigues Pinto*
produção física, social, econômica trimônio cultural brasileiro, a Carta
* Ministério do Desenvolvimento e cultural. A definição legal, con- Magna lançou as bases legais para
Social e Combate à Fome
tida no Decreto nº 4.887/2003, a afirmação da cidadania desse
assinala que estas comunidades segmento da população brasileira
são: grupos étnico-raciais, segun- ao determinar a emissão de títulos
do critérios de autoatribuição, com de propriedade definitiva das ter-
trajetória histórica própria, dotados ras ocupadas pelos “remanescen-
de relações territoriais específicas, tes das comunidades dos quilom-
com presunção de ancestralidade
bos”. Avançando nessa direção, o
negra relacionada com a resistên-
Decreto nº 4.887, de 20 de no-
cia à opressão histórica sofrida1.
vembro de 2003, regulamentou os
Todavia, estas comunidades pas- procedimentos para identificação,
saram a ser reconhecidas como delimitação, demarcação e titula-
grupos específicos apenas com ção das terras ocupadas pelas co-
a promulgação da Constituição munidades quilombolas. Ainda em
Federal de 1988: por meio dos 2003, foi instituída a Secretaria de
artigos 215 e 216 e do artigo 68 Políticas de Promoção da Igualda-
do Ato das Disposições Constitu- de Racial (SEPPIR). Com status de
138
cionais Transitórias, o Estado bra- ministério, a SEPPIR é responsável
138
pela coordenação e avaliação das políti- federais, entre eles o Ministério do De-
cas públicas afirmativas de promoção da senvolvimento Social e Combate à Fome
igualdade racial e de combate à discrimi- (MDS), e têm como principais objetivos a
nação racial e étnica . 3 garantia do acesso à terra; ações de saú-
de e educação; construção de moradias,
Baseando-se nos preceitos legais assinala- eletrificação; recuperação ambiental; in-
dos, foi criado, em março de 2004, o Pro- centivo ao desenvolvimento local; pleno
grama Brasil Quilombola (PBQ), que reúne atendimento das famílias quilombolas
ações do Governo Federal para as comu- por programas de transferência de ren-
nidades quilombolas e cuja coordenação da, como o Bolsa Família, e medidas de
está a cargo da SEPPIR. As metas e recursos preservação e promoção das manifesta-
do PBQ envolvem 23 ministérios e órgãos ções culturais quilombolas.
1 Decreto nº 4.887/2003. Disponível em: <http://www.planalto.gov.br/ccivil_03/Decreto/2003/D4887.htm>.
2 O termo “comunidade remanescente de quilombo” consta no artigo 68 do Ato das Disposições Constitucionais
Transitórias. A Associação Brasileira de Antropologia (ABA), por meio do Grupo de Trabalho sobre Terra de Quilombo,
emitiu uma nota, em 1994, na qual adverte quanto aos riscos que ele traz ao supor que tais grupos seriam isolados ou
compostos por população homogênea. Segundo a ABA, “o termo quilombo não se refere a resíduos ou resquícios ar-
queológicos de ocupação temporal ou de comprovação biológica. (...) Consistem em grupos que desenvolveram práticas
cotidianas de resistência na manutenção e reprodução de seus modos de vida característicos e na consolidação de um
território próprio” (ABA apud O’Dwyer, 2002: 18).
3 Lei nº 10.678, de 23 de maio de 2003.

Participação e implementação de políticas públicas diferenciadas: experiências de avaliação sobre comunidades
quilombolas
139
relatos de pesquisa Os compromissos firmados no PBQ foram sustentável como promotor da qualidade
reforçados pelo Decreto nº 6.040, de 7 de de vida das comunidades4. Como parceiro
fevereiro de 2007, que instituiu a Política estratégico da SEPPIR, cabe ao MDS a re-
Nacional de Desenvolvimento Sustentá- alização das seguintes ações previstas no
vel de Povos e Comunidades Tradicionais, âmbito do PBQ: assegurar às comunidades
orientada pelos princípios da cidadania, quilombolas o direito à segurança alimen-
da segurança alimentar e nutricional – tar, assim como formular e implementar,
como direito coletivo e com respeito à di- junto a essas comunidades, medidas de
versidade cultural – e do desenvolvimento superação da pobreza e da miséria.
■■ Quadro 1: Avaliações com foco prioritário em comunidades

quilombolas, contratadas pela SAGI/MDS entre 2006 e 2011
Período de Instituição
Pesquisa Descrição
realização executora
Mapeamento das comunidades quilombo-
Pesquisa de Avaliação
las contempladas com as ações estruturan-
das Ações Estruturan- Julho a
tes e avaliação dos processos de imple-
1 tes das Comunidades novembro FEC / DATAUFF
mentação dessas ações estabelecidas pelo
Quilombolas – primei- de 2006
Convênio n° 006/2003, firmado entre o
ra avaliação
MDS e a Fundação Cultural Palmares.
Realização de estimativa de prevalência

Chamada Nutricional Janeiro
da desnutrição proteico-energética, de
de Crianças Quilom- de 2006 a FAP
2 sobrepeso e do baixo peso ao nascer e
bolas Menores de março de
identificação do recebimento de benefí-
Cinco Anos de Idade 2007
cios sociais pelas famílias quilombolas.
Avaliação complementar das ações estru-
das Ações Estruturan- Julho a
turantes. Realizada nas 85 comunidades
3 tes das Comunidades outubro de FEC/DATAUFF
quilombolas que não participaram da
Quilombolas – segun- 2008
primeira avaliação.
da avaliação
Avaliação, mapeamento e georreferencia-
Avaliação Diag- mento dos equipamentos de assistência
Fevereiro
nóstica: acesso social básica e os serviços assistenciais
de 2008 a FEC/DATAUFF
4 das comunidades ofertados pelos diferentes níveis de
março de
quilombolas aos governo, ONGs e outras instituições, além
2009
programas do MDS de verificar o acesso das comunidades
quilombolas aos programas do MDS.
Avaliação do estado nutricional de

crianças quilombolas menores de cinco
Avaliação da Situação anos de idade, da situação de segurança
de Segurança Ali- alimentar das famílias, bem como carac- 2011 (em
5 mentar e Nutricional terísticas socioeconômicas e de acesso andamen- FEC/DATAUFF
em Comunidades a serviços de saúde e benefícios sociais; to)
Quilombolas Tituladas georreferenciamento de todos os domicí-
lios e equipamentos públicos situados no
140 interior dos territórios titulados.
Não obstante, a concretização do PBQ
Pesquisas de avaliação
segue exigindo a implementação de al-
gumas medidas estratégicas, dentre elas,
de comunidades
a superação da carência de informações, quilombolas
dados e conhecimentos sobre a realida-
Pesquisa de Avaliação das
de das comunidades e famílias quilom-
bolas. O PBQ afirma a extrema urgência
Ações Estruturantes das
do levantamento e consolidação de da- Comunidades Quilombolas
dos, sistematização de informações e
Apresentação
geração de conhecimentos necessários à
formulação e à avaliação de políticas de O “Programa de Ações Estruturantes nas
promoção da igualdade racial. Comunidades Remanescentes de Quilom-
bos” iniciou-se em 2003, com a realização
Reconhecendo, portanto, que se trata de cinco oficinas – nas cidades de São
de um conjunto da população brasileira Paulo-SP, Recife-PE, Santarém-PA, Bom Je-
sobre o qual são escassos os dados ofi- sus da Lapa-BA e São Luís-MA – das quais
ciais sistematizados e consolidados e no participaram representantes das 150 co-
intuito de minimizar estas dificuldades, munidades prioritárias previamente sele-
o MDS, por meio da Secretaria de Ava- cionadas, conforme disposto no Convênio
liação e Gestão da Informação (SAGI), nº 006/2003 firmado entre a Fundação
contratou, até o momento, cinco avalia- Cultural Palmares (FCP) e o MDS5.
ções com foco prioritário em comunida-
des quilombolas. Os principais objetivos O objetivo das oficinas foi produzir, de
desses estudos foram avaliar o acesso forma participativa, um diagnóstico da
destas comunidades a serviços e ações realidade socioeconômica dessas comu-
ofertados pelo MDS, além de traçar um nidades e, a partir daí, foram fornecidos
diagnóstico da situação em que as comu- equipamentos para geração de renda
nidades se encontravam, especialmente sustentada, que se relacionavam com as
do ponto de vista da segurança alimentar demandas e características levantadas na
e nutricional. O histórico das pesquisas fase inicial. Os equipamentos fornecidos,
em ordem cronológica de contratação é em geral, estavam voltados para a pesca
apresentado no quadro 1 e, na sequên- artesanal, a produção de farinha de man-
cia, é feita uma apresentação dos objeti- dioca, o desenvolvimento do artesanato
vos, metodologia e principais resultados e a otimização da atividade agrícola. Esta
já observados de cada uma delas. última atividade foi contemplada não so-
4 Cf. artigo 1º, anexo. Disponível em: <http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2007/Decreto/D6040.htm>
5 Cf. Brandão et. al., 2008.

quilombolas
141
relatos de pesquisa mente com implementos agrícolas, mas Metodologia
também com materiais para irrigação.
A pesquisa foi realizada por meio de
aplicação de questionários estruturados
Esta ação visava à redução de índices de
junto aos responsáveis pelos domicílios
vulnerabilidade social e insegurança ali-
sorteados para compor a amostra, con-
mentar, com vistas à autossustentabilida-
templando todos os tipos de ações imple-
de, mas também se constituiu como uma
mentadas. O plano amostral da primeira
política estrategicamente voltada para
etapa da pesquisa foi composto por 65
o fundamental enfrentamento das dife-
comunidades, representando um total de
renças étnico-raciais que afetam o bem-
aproximadamente 2.300 domicílios, en-
-estar e a segurança alimentar dos dife-
quanto, na segunda etapa, foram visitadas
rentes grupos que compõem a sociedade
81 comunidades, correspondendo a 2.260
brasileira.
domicílios.
A pesquisa ora em análise foi levada a

Além da aplicação de questionários nos
cabo pela Fundação Euclides da Cunha
domicílios, como forma de aprofundar e
(FEC), sendo realizada em duas etapas
qualificar as informações coletadas, foram
(conforme descrito no quadro 1), cuja me-
realizadas entrevistas em profundidade
todologia e resultados serão apresenta-
com famílias beneficiadas com ações es-
dos de forma conjunta. As duas pesquisas
truturantes, lideranças quilombolas, pes-
tinham como principais objetivos mapear
soas que trabalharam ou trabalham dire-
as comunidades quilombolas contempla-
tamente na implementação do programa
das com ações estruturantes; caracterizar
na FCP e no MDS, além daquelas perten-
as modalidades de entrega e instalação
centes aos diferentes níveis de gestão
dos equipamentos e possíveis problemas
governamental.
ocorridos; mapear os critérios utilizados
para ordenar o atendimento às 150 co-
munidades; avaliar a adequação dos equi- Principais resultados
pamentos ao perfil e necessidades das A maioria das comunidades quilombolas
comunidades contempladas e o grau de investigadas está localizada em áreas ru-
satisfação dos beneficiários; analisar os rais. Cerca de 60% dos responsáveis pe-
resultados da iniciativa na mudança das los domicílios trabalham na agricultura,
condições socioeconômicas dos benefi- principalmente na qualidade de agriculto-
ciários; avaliar o cumprimento de prazos e res de subsistência.
metas estabelecidos para a instalação dos
equipamentos e analisar a participação A pesquisa encontrou uma situação de
das mulheres nas atividades de geração grande insegurança alimentar, conside-
de renda. rando que somente 30% das famílias
142
afirmaram que a quantidade de alimentos
Chamada Nutricional
consumidos no mês era suficiente.
de Crianças
No que diz respeito à avaliação específi-
Quilombolas Menores
ca das ações implementadas, houve ca- de Cinco Anos de Idade
sos em que a ação estruturante recebida
foi inadequada diante das características
Apresentação
socioeconômicas e ambientais das comu- Em 2006, foi realizada a “Chamada Nutri-
nidades. Em outros casos, embora a ação, cional de Crianças Quilombolas Menores
em sentido amplo, fosse adequada, o tipo de Cinco Anos de Idade”. Este estudo teve
de equipamento recebido não se prestava um caráter pioneiro, visto que não existia
à utilização, por conta de especificidades no Brasil um diagnóstico nacional da situa-
socioeconômicas e ambientais. Houve ção socioeconômica destas comunidades
também problemas de inadequação de ou da situação nutricional das crianças
infraestrutura. quilombolas menores de 5 anos. O obje-
tivo da Chamada Nutricional foi avaliar a
Em síntese, poucos equipamentos encon- situação nutricional das crianças quilom-
travam-se em utilização, tendo gerado, até bolas na referida faixa etária, vacinadas
o momento, baixo resultado no que tange em 20 de agosto de 2006 (Dia Nacional
ao aumento da renda da família, aumento de Vacinação – 2ª etapa), visando conhe-
da área e/ou produção da família, quan- cer a situação em que se encontravam
tidade de alimentos consumidos pela fa- para possibilitar estabelecer/reestruturar
mília e introdução de novos alimentos na políticas públicas e ações focalizadas para
dieta familiar. Após esta avaliação e tam- essa população. A opção de desenvolver o
bém após a realização de outras avalia- estudo associado à campanha nacional de
ções internas à Secretaria Nacional de Se- vacinação pautou-se na necessidade de
gurança Alimentar e Nutricional (SESAN), otimizar os recursos requeridos para uma
o MDS optou pelo cancelamento do Pro- investigação desta envergadura, possibi-
grama, priorizando outras ações também litando que fossem utilizadas tanto a es-
estruturantes, como é o caso do Programa trutura como a mobilização da campanha,
de Aquisição de Alimentos (PAA). reconhecidamente exitosa.

quilombolas
143
relatos de pesquisa Metodologia A realização da Chamada Nutricional foi
previamente pactuada com o Fundo das
Em função da inexistência de informações
Nações Unidas para a Infância (UNICEF),
a respeito do quantitativo de crianças qui-
SEPPIR, Coordenação Nacional de Articu-
lombolas menores de cinco anos de idade
lação de Comunidades Negras Quilom-
em cada comunidade e para agilizar a ati-
bola (CONAQ) e Secretários Estaduais de
vidade de coleta das informações, optou-
Saúde dos 22 estados que compuseram a
-se por um desenho de amostra com con-
amostra. A proposta foi também apresen-
glomeração em 2 estágios. No primeiro
tada e debatida na Comissão Permanente
estágio, foram sorteadas as comunidades
de Segurança Alimentar e Nutricional das
participantes da amostra e, no segundo
Populações Negras do Conselho Nacio-
estágio, a totalidade das crianças a serem
nal de Segurança Alimentar e Nutricional
investigadas.
(CONSEA) e alguns conselheiros participa-
ram de reuniões preparatórias e da pró-
Posteriormente, decidiu-se realizar uma pria execução da Chamada Nutricional.
estratificação dentro do primeiro estágio
de conglomeração, baseada em três cri- Ofícios foram remetidos pelo MDS e pelo
térios: (i) a unidade da federação à qual Ministério da Saúde (MS) às autoridades
a comunidade pertencia; (ii) o bioma, isto municipais, de modo a informá-las sobre a
é, a área geográfica caracterizada por um execução da pesquisa e solicitando apoio
tipo de vegetação dominante, ao qual a técnico e logístico. No âmbito dos estados,
comunidade pertencia e (iii) a existência montou-se uma estrutura de coordenação
ou não de título de posse da terra. Devido formada por um professor de Universida-
aos altos custos que uma pesquisa desse de Federal ou Estadual ou um técnico da
tipo envolve, ficou estabelecido que se- Secretaria Estadual de Saúde da área téc-
riam pesquisadas 60 comunidades, res- nica de alimentação e nutrição. Em alguns
peitando a proporcionalidade existente casos, a coordenação foi compartilhada
na listagem do Centro de Cartografia Apli- por ambas as instituições. Dentre as res-
cada e Informação Geográfica (CIGA) da ponsabilidades da Coordenação Estadual
Universidade de Brasília (UnB)6 e a possi- da Pesquisa estavam: o recrutamento e
bilidade de utilização do cadastro obtido a seleção de profissionais ou formandos
junto à FCP. dos cursos da área de saúde para atuarem
como multiplicadores e supervisores nos
Dentre as 946 comunidades remanes- municípios; a capacitação dos multiplica-
centes de quilombos contidas na lista- dores; o contato com as Secretarias Muni-
gem, foram selecionadas 60 comunida- cipais de Saúde para recrutamento de pro-
des distribuídas em 22 estados. Desta fissionais, técnicos e auxiliares de saúde
forma, a amostra da pesquisa tem repre- para compor a equipe local responsável
sentatividade nacional, não sendo reco- pela coleta de dados e a sensibilização
mendadas expansões ou estimativas de para que os municípios proporcionassem
totais nacionais. apoio logístico aos multiplicadores.
144
Para a coleta de dados, empregou-se Como o público-alvo da pesquisa era o
um questionário pré-testado durante a universo de crianças menores de cinco
1ª etapa da campanha de vacinação em anos das comunidades e tendo em vista o
2006. O instrumento era sucinto (uma fo- não comparecimento de algumas delas ao
lha frente e verso), uma vez que as pessoas posto de vacinação, os pesquisadores fi-
foram abordadas na fila da vacinação. Esta zeram visitas aos domicílios destas crian-
abordagem era feita geralmente depois da ças para coleta dos dados restantes, de
vacinação e, após a aquiescência do res- forma a garantir a participação de todas as
ponsável pelos cuidados da criança, o en- famílias da amostra. A exceção foi a comu-
trevistador preenchia o questionário cole- nidade Conceição das Crioulas, no muni-
tando, por fim, os dados antropométricos. cípio de Salgueiro-PE, em que houve sor-
teio sistemático de uma criança em cada
Questões sobre escolaridade do(a) duas na fila do posto de vacinação para
entrevistado(a) e do(a) chefe da família, participação na pesquisa (medida tomada
acesso a bens básicos e a benefícios so- em função da quantidade de crianças na
ciais, número de refeições realizadas por comunidade). Ao todo, foram coletadas in-
dia pela família, acompanhamento do formações sobre 2.941 crianças.
crescimento e desenvolvimento da crian-
ça, sintomas de doenças prevalentes na No que diz respeito aos procedimentos
infância (infecção respiratória aguda e éticos, o projeto da Chamada Nutricio-
diarreia), prática de aleitamento mater- nal foi aprovado pelo Comitê de Ética da
no, realização de pré-natal, entre outras, ENSP/FIOCRUZ. No momento da coleta, os
estavam incluídas no questionário. A ca- responsáveis pelas crianças foram previa-
racterização da situação nutricional foi mente esclarecidos, em linguagem acessí-
estimada mediante a prevalência da des- vel, acerca dos objetivos da investigação,
nutrição proteico-calórica, com base nos sobre a forma de coleta de dados, confi-
indicadores: peso/idade, altura/idade, dencialidade das informações, desconfor-
peso/altura; prevalência de sobrepeso to, liberdade de recusar ou retirar o con-
com base no indicador peso/altura; pre- sentimento durante o processo de coleta
valência do baixo peso ao nascer e taxas dos dados e a publicação dos resultados
de indicadores de aleitamento materno da investigação preservando a identidade
proposto pela Organização Mundial de de todas as crianças e seus responsáveis.
Saúde (OMS). Buscou-se também identi- Os dados foram coletados após concor-
ficar o acesso das famílias das crianças dância e assinatura do responsável pela
investigadas a benefícios e serviços so- criança no Termo de Consentimento Livre
cioassistenciais. e Esclarecido.
6 ANJOS, R. S. A. Territórios das comunidades remanescentes de antigos quilombos no Brasil: primeira configuração
espacial. Brasília, DF: Mapas Editora & Consultoria,1999.

quilombolas
145
relatos de pesquisa Toda criança, após a realização do exame Pode-se observar, portanto, que, apesar
antropométrico, teve o seu peso registra- dos esforços governamentais para garan-
do no Cartão da Criança e os seus pais ou tir a participação destas comunidades nos
responsáveis foram informados sobre o programas federais, crianças menores de
seu estado nutricional. As crianças diag- cinco anos e famílias quilombolas ainda
nosticadas com deficit nutricional (Peso/ encontravam dificuldades e discriminação
Idade < percentil 3) foram referenciadas no acesso a políticas públicas integrais.
à unidade de saúde mais próxima, me- Cerca de 90% dos responsáveis pelas
diante termo de encaminhamento. Estas crianças se declararam negros, 83% não
crianças também foram identificadas por tinham escolaridade ou cursaram até, no
meio de um formulário mais detalhado máximo, o ensino fundamental e 90% das
para investigação social, incluindo pontos famílias foram enquadradas nas classes
de referência que permitissem localizar o D/E (Critério Brasil).
seu endereço. Após a pesquisa, estes for-
mulários foram entregues às secretarias Como parte da disseminação dos acha-
de assistência social – ou sua correspon- dos da pesquisa, os resultados foram
dente – em cada um dos municípios. publicados pela SAGI e os microdados
disponibilizados no Consórcio de Infor-
mações Sociais7.
Os resultados demonstraram que as comu- Também merece especial destaque a pu-
nidades quilombolas encontravam-se em blicação do Cadernos de Estudos Desen-
situação precária de vida, com péssimas volvimento Social em Debate – nº 09, orga-
condições de moradia e acesso a serviços nizado pelo MDS e lançado em 2008. O
de água e esgoto. À época da coleta, o aces- material reúne artigos de diversos espe-
so à educação também era muito baixo, evi- cialistas, organizações não governamen-
denciado na pouca escolaridade dos pais. tais e parceiros institucionais, tais como,
Do ponto de vista da nutrição dos menores SEPPIR e UNICEF, e teve como objetivo
de cinco anos, ficou claro que se constituem central a análise dos resultados da pes-
em grupo com altos riscos de desnutrição quisa, contemplando temas relativos à
(50% das crianças estavam em risco de de- situação nutricional de crianças de 0 a 5
ficit nutricional, das quais 11,6% já sofriam anos, políticas e programas de distribui-
deficit de comprimento), igualando-se às ção de alimentos, desafios da segurança
crianças do Nordeste urbano em meados da alimentar e nutricional de comunidades
década de 1990 (de acordo com os dados quilombolas, além da caracterização so-
disponíveis na Pesquisa Nacional sobre De- ciocultural das comunidades incluídas
mografia e Saúde de 1996). Em termos de na pesquisa.
acesso às políticas públicas de promoção
social, 52% se declararam beneficiários do Outrossim, a chamada oportunizou a cria-
Programa Bolsa Família. ção de uma rede de apoio à coleta de da-
146
dos inédita no Brasil com uma estrutura cepções a respeito da acessibilidade aos
envolvendo Governo Federal, estaduais e programas do MDS; d) valores e atitudes
municipais. A mobilização de todos estes em relação aos programas do MDS; e)
atores proporcionou, para além de outras tempo de permanência nos programas;
questões, uma maior visibilidade da po- f) como os programas são representados
pulação quilombola nos 22 estados onde na perspectiva dos usuários e g) prin-
foram coletados dados. cipais problemas em relação ao acesso
aos programas sociais.
Avaliação
Metodologia
Diagnóstica: acesso
das comunidades Diante dos objetivos da pesquisa, optou-
-se pela utilização de técnicas qualitativas
quilombolas aos para a coleta de dados – entrevistas em
programas do MDS profundidade e grupos focais. A pesqui-
sa de campo foi levada a cabo em 60 co-
Apresentação munidades quilombolas8. No total, foram
A pesquisa “Avaliação Diagnóstica: acesso conduzidos 82 grupos focais com benefi-
das comunidades quilombolas aos progra- ciários e não beneficiários de programas
mas do MDS” teve como objetivo principal sociais geridos pelo MDS e 275 entrevis-
avaliar, mapear e georreferenciar os equi- tas em profundidade com os gestores fe-
pamentos de assistência social básica e derais, estaduais e municipais de políticas
os serviços assistenciais ofertados pelos de assistência, com os beneficiários e não
diferentes níveis de governo, bem como o beneficiários de programas e com lideran-
acesso das comunidades quilombolas aos ças comunitárias. Este trabalho de coleta
programas do Ministério. de dados foi realizado no período de abril
a outubro de 2008.
Neste sentido, buscou-se levantar as se-
guintes informações: a) características As entrevistas em profundidade foram
socioeconômicas das famílias; b) per- distribuídas da seguinte forma: uma com
cepções a respeito dos critérios de se- o representante do MDS, 64 com benefi-
leção para os programas do MDS; c) per- ciários de programas do MDS, 48 com não
7 O Consórcio de Informações Sociais (CIS) é um sistema de intercâmbio de informações científicas mantido pela
Universidade de São Paulo (USP) e pela Associação Nacional de Pós-graduação e Pesquisa em Ciências Sociais (ANPOCS).
Disponível em: <http://www.nadd.prp.usp.br/cis/index.aspx>.
8 À exceção de cinco comunidades, que foram substituídas, esta pesquisa foi realizada nas mesmas comunidades
pesquisadas na Chamada Nutricional, realizada anteriormente.

quilombolas
147
relatos de pesquisa beneficiários de programas do MDS, 110 sentação do relatório final junto às secre-
com lideranças comunitárias locais e 52 tarias finalísticas do Ministério, com vistas
com os representantes da gestão munici- a fomentar a implementação e/ou melho-
pal da política de assistência. ria de serviços e programas voltados para
esse público.
No que tange às condições de vida das
comunidades quilombolas, o estudo de-
da Situação de
monstrou que elas passam por diferentes Segurança Alimentar
e, às vezes, combinadas formas de priva- e Nutricional em
ção, que geram um baixo padrão de bem- Comunidades
-estar assim como possivelmente contri-
Quilombolas Tituladas
buem para a reprodução geracional da
pobreza, miséria e exclusão. Apresentação
Trata-se de estudo transversal de base
Os dados coletados tornam evidente que
populacional com metodologia quanti-
os quilombolas enfrentam problemas em
tativa, realizado em comunidades qui-
diferentes intensidades e de diferentes
lombolas que obtiveram título de posse
tipos, notadamente nos campos do aces-
coletiva da terra emitido pelo Instituto
so ao emprego e renda, da educação e
Nacional de Colonização e Reforma Agrá-
da saúde. Em função desses problemas,
ria (INCRA) ou por órgãos oficiais esta-
os programas sociais dirigidos a eles são
duais. O objetivo da pesquisa é avaliar o
percebidos como importantes, mas, ao
perfil nutricional de crianças quilombolas
mesmo tempo, como insuficientes e limi-
menores de cinco anos de idade, a situa-
tados. Além disso, eles enfrentam distin-
ção de segurança alimentar e nutricional
tos problemas de acesso aos programas
e o acesso das famílias a serviços, bene-
em geral.
fícios e programas governamentais, bem
como descrever o perfil socioeconômico
Até mesmo em relação aos programas de das 177 comunidades quilombolas titu-
mais fácil acesso e de maior universalização, ladas entre 1995 e 2009, distribuídas em
como o Programa Bolsa Família e a distribui- 55 municípios e 14 estados.
ção de Cestas de Alimentos, há problemas
de acessibilidade. Essas dificuldades são di-
versas e parecem exercer algum impacto na Metodologia
demanda sobre os programas. A fim de cumprir com os objetivos propos-
tos, foi feito um censo de todas as famí-
Análogo ao processo de disseminação dos lias, com coleta de dados antropométricos
resultados das pesquisas anteriores, a de todas as crianças com menos de cinco
SAGI promoveu reunião técnica de apre- anos de idade. Além disso, em cada co-
148
munidade, todos os domicílios visitados e Com intuito de fomentar o protagonis-
equipamentos públicos disponíveis foram mo social das comunidades quilombolas
georreferenciados e codificados com o uso na implementação de políticas públicas
de aparelhos eletrônicos que operem no voltadas para este segmento, a SAGI, em
Sistema de Posicionamento Global (GPS). parceria com a SEPPIR, organizou oficinas
Em cada comunidade, é aplicado um ques- técnicas regionais de apresentação da
tionário junto à liderança local, contem- pesquisa (metodologia, abordagem, obje-
plando questões sobre a produção coletiva tivos), com vistas à mobilização dos ato-
e distribuição de alimentos; equipamentos res. Trata-se de oficinas com participação
públicos existentes; organizações sociais das lideranças das comunidades visitadas,
presentes, dentre outros temas. bem como de parceiros fundamentais
para a qualidade da pesquisa e apropria-
A Pesquisa de Avaliação da Situação de ção dos resultados (como, por exemplo,
Segurança Alimentar e Nutricional em Co- os governos locais, universidades e repre-
munidades Quilombolas Tituladas insere- sentantes de outros ministérios).
-se num amplo esforço – que tem mobili-
zado instituições bastante diversas como Estes encontros são ações estratégicas
a SEPPIR, o Ministério da Saúde (MS), o para a consecução da pesquisa, na medi-
INCRA, além de organizações não gover- da em que marcam o compromisso – tan-
namentais – destinado ao levantamento to das unidades executoras quanto das
sistemático de dados sobre as situações comunidades participantes – com a sua
em que as comunidades quilombolas vi- realização satisfatória. São a oportunida-
vem e seu nível de acesso aos serviços e de para prestar os devidos esclarecimen-
programas sociais. tos técnicos e metodológicos e, com isso,
colaboram com o protagonismo social das
Sabendo que o estado nutricional é um comunidades quilombolas no processo de
legítimo indicador das condições de vida implementação de políticas públicas vol-
das populações, dispensa-se atenção es- tadas para este segmento.
pecial ao levantamento do quadro descri-
tivo da situação de segurança alimentar e A primeira oficina aconteceu em Brasília-DF,
nutricional das comunidades quilombolas em novembro de 2010, e contou com a
tituladas. Espera-se que os dados cole- participação de cerca de 30 lideranças
tados contribuam com a configuração do das comunidades das regiões Centro-
perfil socioeconômico das comunidades -Oeste e Sudeste. A segunda oficina
e, mais além, sirvam de subsídios para a aconteceu em fevereiro de 2011, em
formulação de políticas públicas que pro- Belém-PA, com a participação de cerca de
movam o bem-estar social dessas pessoas. 150 pessoas, entre lideranças quilombo-

quilombolas
149
relatos de pesquisa las dos estados do Pará e Amapá, além de buco, Piauí, Maranhão, Bahia e Sergipe,
representantes das Secretarias de Saúde além de representantes da Secretaria Mu-
e Justiça do Estado, bem como de pesqui- nicipal de Assistência Social de São Luís,
sadores vinculados à Universidade Fede- da Secretaria Estadual de Promoção da
ral do Pará. Além destes participantes, Igualdade Racial do Maranhão, da CONAQ,
estavam presentes representantes da da superintendência regional do INCRA no
SAGI, SEPPIR, Coordenação Nacional de Maranhão, da SEPPIR, da SAGI e da Caixa
Articulação das Comunidades Negras Ru- Econômica Federal. No total, participaram
rais Quilombolas (CONAQ) e da Coorde- do evento cerca de 100 pessoas.
nação das Associações das Comunidades
Quilombolas do Pará (Malungu).
Resultados
Também no mês de fevereiro ocorreu a A coleta de dados ocorreu entre abril e
terceira oficina em Santarém-PA com a setembro de 2011 e há previsão de divul-
presença de cerca de 60 lideranças do gação dos resultados ainda no primeiro
estado do Pará, além de representantes semestre de 2012.
da SAGI, SEPPIR, CONAQ, Associação dos
Remanescentes Quilombolas de Orixi-
miná (ARQMO) e da Federação das Or-
Conclusões
ganizações Quilombolas de Santarém As cinco pesquisas realizadas pelo MDS
(FOQS). sobre famílias e comunidades quilombo-
las evidenciam um perfil de alta vulnera-
Finalmente, em março de 2011, ocorreu a bilidade socioeconômica. A maioria dos
quarta oficina, na cidade de São Luís-MA. responsáveis pelos domicílios visitados
Estiveram presentes cerca de 70 lideran- apresenta baixa escolaridade, rendimentos
ças quilombolas dos estados de Pernam- exíguos e condições nutricionais, sanitá-
150
rias e de segurança alimentar muito pre- aproximação do poder público com as
cárias, especialmente se comparadas aos especificidades territoriais, ambientais,
índices nacionais. Ao revelar esse quadro sociais e culturais das comunidades qui-
de exclusão com dados oficiais, estes lombolas e empodera os movimentos so-
levantamentos vêm contribuindo com a ciais envolvidos.
sensibilização dos gestores públicos para
a difícil realidade vivenciada pelos qui- Com esse intuito, foram concebidas e re-
lombolas, ajudando na sua visibilidade alizadas oficinas regionais – com ampla
perante o Estado. participação de lideranças quilombo-
las – como forma de preparação política
Várias foram as lições aprendidas duran- da Pesquisa de Avaliação da Situação de
te o percurso de cinco anos que separa o Segurança Alimentar e Nutricional das
primeiro estudo feito pelo MDS da atual Comunidades Quilombolas Tituladas. Por
pesquisa em andamento sobre segurança outro lado, o Programa Brasil Quilombola,
alimentar e nutricional das comunidades ante o PPA 2012-2015, impõe como desa-
quilombolas tituladas. Talvez a principal fio a concepção de um sistema unificado
delas seja a necessidade de aperfeiçoar de informações sobre as comunidades e
os mecanismos de participação social famílias quilombolas, acessível e manejá-
dos quilombolas na concepção, execução vel pelas diferentes instituições integran-
da coleta de dados e análise dos resulta- tes do programa. Assim, com informações
dos das pesquisas, tendo em vista o uso qualificadas e sistematizadas, participa-
das informações produzidas no desenho ção social e comunicação interinstitucio-
e implantação de políticas públicas dife- nal, será possível aprimorar o desenho e
renciadas. Tal participação, além de dar a implementação de estratégias de erra-
maior legitimidade ao processo de cons- dicação extrema pobreza entre os quilom-
trução do conhecimento, potencializa a bolas do Brasil.

quilombolas
151
resumos e resenhas
Resumo de dissertação
Políticas Públicas, Financiamento e
Democratização da Educação Superior:
Avaliação do Reuni na Universidade
Federal de Tocantins (UFT)
A dissertação teve como objetivo família, são provenientes de escola

avaliar o Reuni na Universidade Fe- pública e possuem renda familiar
deral do Tocantins, no campus de de até três salários mínimos. O es-
Palmas. O programa compõe a polí- tudo permitiu verificar que há dife-
tica de expansão e democratização rentes concepções sobre o Reuni e
da educação superior. A estratégia que sua implementação na UFT não
metodológica escolhida articulou foi um consenso. A concepção de
dados quantitativos e qualitativos, democratização presente no Reu-
a fim de realizar uma avaliação em ni dentro da instituição está posta
profundidade do programa. Assim, com enfoque no acesso, desconsi-
inicialmente, foram levantados da- derando a necessidade de garantia
dos econômicos, políticos e cultu- da permanência. O estudo permitiu,
rais sobre o estado do Tocantins e ainda, verificar que o financiamen-
Autora: Nara Poliana sua Universidade Federal e sobre to disponibilizado para a expansão
de Souza a implementação do programa na proposta não é proporcional às ati-
Orientador: Prof. Dr. instituição. Também foram realiza- vidades implementadas e não con-
Alcides Fernando das pesquisa documental e entre- siderou o deficit financeiro existen-
Gussi (UFC) vistas com os gestores, professores te nas universidades. Os resultados
e alunos da UFT, com o objetivo de da avaliação apontam que o Reuni,
reconstruir a trajetória do progra- no limitado período analisado, ain-
Palavras-chave: ma na instituição. A pesquisa de da que se coadune ao atual contex-
Avaliação de políti- campo envolveu, ainda, o levanta- to político de expansão no ensino
cas públicas; Políticas mento do perfil socioeconômico superior na UFT, não apresenta, até
educacionais; Demo- dos alunos dos cursos criados a o presente momento, uma tendên-
cratização; Reuni-UFT. partir do Reuni. Do universo de 62 cia democratizante no sentido de
alunos que responderam aos ques- inclusão social e de distribuição
tionários, os dados revelaram que de qualidade acadêmica indepen-
entrevistados, na sua maioria, são dente de condicionantes sociais e
jovens, solteiros, não moram com a regionais.
152
resumos e resenhas
Avaliação da Implementação
da Política de Educação Escolar
Índigena no Território Tapeba (CE)
O presente estudo visa avaliar a ção da política no contexto local;

política de educação escolar in- depois, foram analisados docu-
dígena, especificamente o seu mentos que fundamentam legal-
processo de implementação no mente a existência da política
território Tapeba, em Caucaia- em um contexto nacional e local,
-CE. Os objetivos estabelecidos no caso, do estado do Ceará. Fi-
foram, primeiramente, conhecer nalmente, realizou-se pesquisa
o histórico de implementação de campo, com a utilização da
da política tanto no estado do observação participante e entre-
Ceará como no território em es- vistas em profundidade, visando
tudo, levando em consideração verificar as diferentes compreen-
o contexto de etnogênese dos sões das relações entre o estado
povos indígenas do estado e re- e as lideranças Tapeba a respeito
gião. Em seguida, compreender a da educação diferenciada indí- Autora: Lucileila de Sousa
relação que se estabelece entre gena. Os resultados da pesquisa Cardoso
estado e população indígena, no apontam para a necessidade de Data: 8/07/2011
campo das disputas políticas em repensar a condução do processo
Orientador: Prof. Dr. José
torno da afirmação da identidade implementação, tanto no que
Almir Farias Filho (UFC)
de étnica e conquista de terri- se refere ao contexto local, como
tório. A pesquisa realizou-se em no âmbito nacional, garantindo o
algumas etapas: em um primeiro respeito ao princípio da equida- Palavras-chave:
momento, consistiu na definição de, fundante nas políticas que se Pronasci; Violência e
de categorias – identidade e ter- pretendem resolver ou minimizar juventude; Avaliação
ritorialidade –, à luz das quais se a problemática da exclusão so- de políticas públicas.
analisam as diretrizes e a execu- cial entre os indígenas.
153
resumos e resenhas
Enfrentando a violência com a
participação juvenil: avaliação do
Pronasci em Fortaleza
Este estudo tem por objetivo ava- implementação e resultados. Esta

liar o Programa Nacional de Se- avaliação se dá a partir do enten-
gurança Pública com Cidadania dimento da população-alvo e dos
(Pronasci), em seu eixo “Preven- técnicos envolvidos sobre o Pro-
ção à violência”, que analisa o en- nasci/Protejo, bem como da análi-
volvimento da comunidade juve- se crítica dos problemas organiza-
nil constante do Projeto Proteção cionais e processuais e das metas
de Jovens em Território Vulnerá- projetadas. Dentre os resultados
vel – Protejo. O Pronasci/Protejo relevantes desta avaliação, é
foi avaliado a partir do estudo de possível destacar ideias e enca-
caso do Território do Grande Bom minhamentos dos jovens para o
Jardim, um conjunto de bairros enfrentamento da violência que
situado na periferia da cidade podem contribuir para a melhoria
de Fortaleza, durante o período no planejamento e na execução
Autora: Silvia Barbosa
Correia de 2009-2010. Buscou-se cons- de políticas públicas que envol-
truir um processo avaliativo em vam a participação juvenil como
Orientador: Prof. Dr.
três partes, correspondentes à estratégia de prevenção e contro-
Alcides Fernando
trajetória da política: concepção, le da violência.
Gussi (UFC)
Palavras-chave:
Políticas públicas;
Educação indígena;
Identidade; Cidadania;
Inclusão social.
154
resumos e resenhas
ReseNHa CRÍtiCa do ReLatÓRio do uNiCeF
Situação da Adolescência Brasileira 2011:
O direito de ser adolescente: oportunidade
para reduzir vulnerabilidades e superar
desigualdades
A publicação do Relatório da Situa-
ção da Adolescência Brasileira 2011
pelo Fundo das nações unidas para
a Infância (UNICEF) no final do ano
passado trouxe para a agenda de dis-
cussão pública a importância de polí-
ticas e ações públicas integradas que
tenham os adolescentes como públi-
co-alvo específico. Na tese advogada
pelo relatório, os adolescentes deve-
riam ser reconhecidos não como um
grupo populacional em transição en-
tre a infância e a vida adulta ou como
Situação da Adolescência Brasileira 2011:
Resenha Crítica do Relatório do UNICEF
um contingente rebelde, instável, Marina Pereira Novo
O direito de ser adolescente: oPortunidade propenso a situações de conflito, mas
Para reduzir vulnerabilidades e suPerar
Júnia Quiroga
como sujeitos de direitos a políticas
desigualdades / Fundo das Nações Unidas
e programas específicos. Capacidade Paulo Jannuzzi
Para a Infância. Brasília, DF: UNICEF, 2011.
182PP. de interagir, de lidar com informações
pouco estruturadas e analógicas, de
se comunicar, de participar de ativida-
des coletivas, impulsividade, desejo
de mudanças, de extrapolar limites,
intransigência, curiosidade pelo novo,
são características inerentes aos ado-
lescentes e não “problemas” da ado-
lescência; são atributos que deveriam
ser considerados na formulação de
políticas a eles dedicadas.
R evista B RasileiRa de M onitoRaMento e a valiação | n úMeRo 2 | J ulho -d ezeMBRo de 2011

Resenha crítica do relatório do UNICEF 155
resumos e resenhas Seguindo a estrutura de outros relatórios cílios (PNAD) realizada em 2009 pelo Ins-
temáticos das Nações Unidas, esta publi- tituto Brasileiro de Geografia e Estatística
cação apresenta, nos primeiros capítulos, (IBGE), registros de programas do Minis-
um diagnóstico dos principais problemas tério da Saúde, levantamentos do Minis-
e condições de vulnerabilidades que afe- tério do Desenvolvimento Social e Com-
tam os adolescentes brasileiros (pesso- bate à Fome (MDS) e outros estudos. Os
as de 12 a 17 anos), faz um balanço dos dados apresentados permitem perceber
avanços e desafios dos planos, políticas como este é um público numérica e so-
e programas desenhados no país nos úl- cialmente significativo em qualquer pers-
timos anos para equacioná-los e finaliza pectiva estatística: totaliza 21 milhões de
com uma proposta de agenda de dire- indivíduos (de 12 a 17 anos); 7,9 milhões
trizes estruturantes e de ações de curto vivem em famílias com renda per capita
prazo para promoção dos direitos dos inferior a meio salário mínimo; 3,7 mi-
adolescentes. lhões vivem com renda per capita de até
um quarto do salário mínimo; 3,3 milhões
O primeiro capítulo é uma introdução (de 14 a 17 anos) exercem algum tipo de
ao tema, evidenciando a importância da atividade laboral em casa, nas ruas ou no
questão, seja pela dimensão quantitativa campo; quase metade dos adolescentes
– 21 milhões de brasileiros, maior coorde 15 a 17 anos estão em atraso escolar;
te de adolescentes na história do país –, 19 de cada 100 mil adolescentes de 12
seja pela potencialização de alguns dos a 17 anos são vitimados por homicídios
problemas sociais brasileiros sobre esse (43 por cada 100 mil se considerarmos de
público – pobreza, baixa escolaridade, 15 a 19 anos) e há uma estimativa de que
exploração no trabalho, desestrutura- existam 290 mil adolescentes grávidas.
ção familiar, gravidez precoce, violência,
AIDS, exploração sexual e abuso de dro- Além da apresentação dos dados quanti-
gas. Neste sentido, os adolescentes de tativos, nestes capítulos, também é feito
hoje são a primeira geração nascida sob um balanço das várias ações públicas di-
a égide da Convenção sobre Direitos da reta ou indiretamente voltadas a esse pú-
Criança de 1989 – um dos documentos blico, relacionando programas e ações da
internacionais de direitos humanos mais Educação, Saúde, Proteção Social, Esporte
ratificados – e sob a proteção distintiva e Cultura.
da Constituição de 1988 e do Estatuto da
Criança e Adolescente. De acordo com o relatório, não conside-
rar as especificidades desse público na
O segundo e o terceiro capítulos consti- elaboração das políticas e ações públicas
tuem o núcleo mais substantivo da publi- seria uma das explicações para o agrava-
cação: o diagnóstico social da adolescên- mento das vulnerabilidades sociais típi-
cia, apresentado com base em dados da cas do país e que repercutem com maior
Pesquisa Nacional por Amostra de Domi- intensidade nesse público, como o atraso
156
escolar, desestímulo seguido de evasão pôs o Plano Integrado de Enfrentamento
escolar, maior risco de mortalidade etc. ao Crack e Outras Drogas. No campo do
enfrentamento da violência, o relatório
Neste sentido, reconhecer o adolescen- aponta o Programa Nacional de Seguran-
te com suas características intrínsecas e ça Pública e Cidadania (Pronasci) e nas
potencialidades, encará-lo como público- áreas de esporte, lazer e cultura, desta-
-alvo específico – e, portanto, sujeito de car-se-iam Programa Segundo Tempo, o
direitos – é, também, uma aposta estra- Programa Esporte e Lazer pela Cidade, o
tégica importante para o país na supera- Projeto Praças da Juventude e os Pontos
ção de suas iniquidades sociais. Afinal, de Cultura.
pela representatividade numérica acima
descrita, investir na mitigação das proble- No que diz respeito às políticas de desen-
máticas enfrentadas por eles contribuirá volvimento social, o relatório reconhece
para a melhoria das condições sociais no os esforços e ações voltados à proteção
presente e, naturalmente, no futuro. dos adolescentes contra a exploração
do trabalho, consubstanciados no Plano
Como reconhece o UNICEF, o Brasil – pela de Erradicação do Trabalho Infantil, e o
conjugação de esforços nas três esferas Projovem Adolescente, que procura apri-
de governo – tem se proposto a imple- morar a formação geral do adolescente e
mentar programas e a oferecer serviços sua forma de iniciação no mercado de tra-
para esse público, buscando equacionar balho. Ao tratar da proteção dos adoles-
ou mitigar parte das situações proble- centes diante do abuso e da exploração
máticas do contexto de vivência dos sexual, a publicação destaca o Programa
adolescentes. Nacional de Enfrentamento da Violência
Sexual contra Crianças e Adolescentes e o
Conforme registrado no relatório, na Sentinela, que presta assistência psicos-
área de educação, foram criadas várias social às vítimas de violência sexual nos
estratégias de integração da educação Centros de Referência Especializados de
tradicional ao ensino profissionalizante, Assistência Social.
como o Programa Nacional de Acesso ao
Ensino Técnico e Emprego e o Programa Os dois últimos capítulos vocalizam a pro-
Mais Educação, oferecendo às crianças posta da agenda política do UNICEF para
e adolescentes oportunidade de educa- a adolescência brasileira: a necessidade
ção integral. No campo da saúde, além de encarar adolescentes como sujeitos
da Política Nacional de Atenção Integral de direitos e como sujeitos de uma nova
à Saúde de Adolescentes e Jovens e do agenda de prioridades, desenhadas para
Programa Saúde na Escola, o governo pro- mitigar as vulnerabilidades enfrentadas

resumos e resenhas por eles e que criem – como explicitado gência territorial e disseminação entre
no subtítulo do relatório – oportunidades estratos de renda com que se processou
para desenvolvimento dos seus poten- essa queda na taxa de filhos por mulher
ciais específicos, contribuindo para que levou, já no final dos anos 1990, a que o
o país supere mais rapidamente suas ini- volume de nascimentos passasse a dimi-
quidades sociais. nuir a cada ano no país. Portanto, era na-
tural e esperado que, ao longo dos anos
Sem desmerecer a relevância do relatório seguintes, o quantitativo de adolescentes
e da advocacy do UNICEF por ações públi- começasse a diminuir, à medida que es-
cas específicas para adolescentes, fato é sas crianças nascidas na década de 1990
que o diagnóstico da situação desse seg- viessem a crescer. De fato, o Censo De-
mento apresenta problemas de natureza mográfico 2010 apontou um contingente
substantiva e metodológica. Há duas pre- de 20,6 milhões de pessoas de 12 a 17
missas incorretas, importantes de serem anos, cerca de 5 milhões a menos que o
apresentadas e discutidas, pela repercus- levantado pelo IBGE em 2000. É certa-
são pouco construtiva – inclusive para a mente um segmento demográfico muito
própria agenda propugnada pelo UNICEF expressivo, mas, ao contrário do que ex-
– na formulação de novas ações para esse põe o relatório em análise, está perdendo
segmento populacional e na avaliação do participação relativa em relação a outros
esforço governamental na área. grupos populacionais.
A primeira premissa, explicitada já no O segundo equívoco do estudo é o re-

início da publicação, é a de que o Brasil gistro de que teria havido aumento do
estaria vivenciando o momento de maior contingente de adolescentes pobres. Tal
contingente de adolescentes em sua his- como o anterior, e tão ou mais grave do
tória. Na realidade, essa “onda demográ- que ele, trata-se de um erro factual, que
fica” de adolescentes ocorreu há mais de não se sustenta pela leitura correta das
dez anos, como consequência da queda estatísticas do IBGE, de várias pesqui-
sistemática das taxas de fecundidade a sas do Instituto de Pesquisa Econômica
partir dos anos 1960. A rapidez, abran- Aplicada (IPEA) ou de estudos de diver-
158
sos pesquisadores brasileiros na década salário mínimo per capita diminuiu de
passada. Vasta produção acadêmica tem 16,1% para 9,6% entre 2004 e 2009.
demonstrado a importância da políti- Evidências adicionais e definitivas da
ca de aumento real do salário mínimo e queda expressiva da pobreza e extrema
da expansão do Programa Bolsa Família pobreza no país e no segmento de ado-
na redução da pobreza no país ao longo lescentes em particular são trazidas pela
dos últimos anos. Afinal, o aumento real comparação dos dois últimos Censos
do salário mínimo foi superior a 50% en- Demográficos: em 2000, cerca de 4,7 mi-
tre 2004 e 2011 e, no mesmo período, o lhões de adolescentes viviam com renda
Bolsa Família passou de 3,6 milhões para domiciliar per capita de até 70 reais; em
13,2 milhões de famílias beneficiárias po- 2010, a cifra equivalente era de 2,5 mi-
bres, compostas, em sua larga maioria, de lhões, contingente 45% menor.
crianças e adolescentes. Como negar que
esforços tão expressivos em política so- Assim, corroborando tantos outros estu-
cial não tenham impactado na redução de dos, os dados aqui apresentados revelam
pobreza entre os adolescentes? que, ao contrário do registrado no rela-
tório sobre a Situação da Adolescência
Não bastassem essas evidências, repro- Brasileira, o número de adolescentes em
duzindo o estudo do UNICEF com a linha situação de pobreza efetivamente dimi-
de pobreza adotada no relatório, com a nuiu nos últimos dez anos. Ainda assim,
mesma fonte de dados – PNAD –, mas, com todo o esforço governamental men-
diferentemente do estudo, aplicando cionado, há um contingente significativo
o procedimento metodológico básico, de adolescentes na extrema pobreza, em
usual e necessário para comparar va- situações de atraso e desestímulo escolar,
lores monetários ao longo de períodos de trabalho e gravidez precoce ou sub-
diferentes – deflacionamento com base metidos à violência, exploração sexual e
em um índice de custo de vida, no caso tráfico de drogas, público-alvo de várias
o Índice Nacional de Preços ao Consu- iniciativas e ações governamentais no
midor (INPC) –, a parcela de adolescen- presente, seja no governo federal, esta-
tes que viviam com até um quarto de dos ou municípios.

publicações em destaque
Developmental Evaluation: Evaluation Theory, Models, and
Applying Complexity Concepts Applications
to Enhance Innovation and Use Daniel L. Stufflebeam
Michael Quinn Patton e Anthony J. Shinkfield
O livro Developmental Evaluation (DE) Evaluation Theory, Models, and Applica-

oferece uma poderosa abordagem para tions foi escrito para avaliadores e es-
monitorar e apoiar inovações sociais, tra- tudantes que precisam adquirir conhe-
balhando em parceria com os tomadores cimento geral do campo da avaliação:
de decisão de programas. Michael Quinn sua história, teoria e padrões, modelos e
Patton mostra como realizar avaliações abordagens, procedimentos e avaliação
dentro de um quadro de desenvolvimen- de programas. Este importante livro mos-
to das iniciativas. Baseia-se na compreen- tra ainda como fazer uma escolha diante
são sobre sistemas dinâmicos complexos, de uma crescente gama de abordagens
incertezas, não linearidade e emergência. de avaliações de programas. Em um único
Ele ilustra como esta abordagem pode ser volume, os autores compilaram informa-
usada para uma variedade de propósitos, ções vitais da literatura sobre avaliação,
como avaliação de programas em curso, incorporando uma vasta quantidade de
adaptando os princípios efetivos da prá- experiências práticas. Ao usar este livro,
tica a contextos locais, gerando inovações avaliadores estarão aptos a identificar,
e facilitando uma resposta rápida em situ- analisar e julgar 26 abordagens. Os au-
ações de crise. Estudantes, pesquisadores tores mostram ainda como julgar abor-
e avaliadores vão apreciar os extensivos dagens ilegítimas e ilícitas, com base na
casos, exemplos, histórias e quadrinhos aplicação dos Padrões de Avaliação do
mostrados no livro e seu estilo claro de Joint Committee (EUA).
linguagem.
Editora: The Guilford Press Editora: Jossey-Bass

ISBN: 978-1606238721 ISBN: 978-0787977658
160
censo suas 2010 alimento: direito sagrado
cras, creas, Gestão municipal, Gestão pesquisa socioeconômica e
estadual, conselhos municipais, cultural de povos e comunidades
conselhos estaduais e rede privada tradicionais de terreiros
Ministério do Desenvolvimento Ministério do Desenvolvimento
Social e Combate à Fome Social e Combate à Fome
A publicação Censo SuAS 2010 apresenta os re- O livro Alimento: Direito Sagrado é fruto
sultados do levantamento anual de informações da Pesquisa Socioeconômica e Cultural de
sobre os serviços, programas, projetos e unidades Povos e Comunidades tradicionais de ter-
da assistência social. Em 2010, foram coletadas reiros e apresenta os resultados do estudo
informações sobre os CRAS, os CREAS, a gestão realizado nas regiões metropolitanas de Be-
municipal, a gestão estadual, os conselhos mu- lém, Belo Horizonte, Porto Alegre e Recife.
nicipais e estaduais de assistência social e sobre Ao total, 4.045 comunidades de terreiros
a rede privada de prestação de serviços. Além participaram da pesquisa. Elas representam
de produzir dados oficiais e confiáveis sobre a territórios de preservação e de culto das
implementação da política de assistência social religiões de matriz africana, afro-brasileira
no Brasil, o Censo tem por objetivo aperfeiçoar a e afro-indígena e oferecem acolhimento e
gestão do SuAS e a qualidade dos serviços socio- prestação de serviços sociais, em especial
assistenciais prestados à população. Os gestores ações de segurança alimentar e nutricional.
e conselheiros de assistência social nos três ní- Além dos resultados, a publicação traz um
veis federativos terão acesso a um conjunto de artigo do antropólogo José Jorge Carvalho,
informações que permitirá a identificação dos depoimentos das lideranças do povo de san-
desafios e problemas a serem enfrentados para to que participaram da coleta de dados em
consolidação do Sistema Único de Assistência cada região metropolitana e um texto sobre
Social. A iniciativa é finalista do 16º Concurso de os desafios metodológicos enfrentados.
inovação da Gestão Pública Federal.
Editora: Ministério do Desenvolvimento Social e Combate à Fome Editora: Ministério do Desenvolvimento Social e Combate à Fome
ISBN: 978-85-60700-50-9 ISBN: 978-85-60700-55-4
161
International Conference
notas em M&A
on National Evaluation
Capacity 2011
Joanesburgo, 12 a 14 de setembro de 2011
1. Introdução
O escritório de avaliação da Quiroga (Secretaria de Avalia-
ONU (UN Evaluation Office) es- ção e Gestão da Informação do
tabeleceu como tarefa promo- Ministério do Desenvolvimento
Márcia Paterno Joppert
ver uma Conferência Internacio- Social e Combate à Fome), Már-
Júnia Valéria Quiroga nal em Capacidades Nacionais cia Joppert (Rede Brasileira de
Armando José Vieira Filho em Avaliação com frequência Monitoramento e Avaliação),
bianual. A primeira Conferência Selma Serpa (Tribunal de Con-
Selma Maria Hayakawa
Cunha Serpa foi realizada em Marrocos, em tas da União) e Armando José
2009. A segunda foi realizada Vieira Filho (Secretaria de As-
em Joanesburgo, África do Sul, suntos Estratégicos da Presi-
em setembro de 2011, e contou dência da República).
com a presença de represen-
tantes tanto do setor governa- A Conferência, com duração de
mental como de organizações três dias, teve como tema nortea-
da sociedade civil dedicadas a dor “O Uso da Avaliação” e contou
desenvolver o tema avaliação com uma discussão conceitual, 2
nos diversos países. O Brasil sessões plenárias, seguidas por 2
foi representado por uma dele- painéis paralelos cada uma, com
gação de quatro pessoas: Júnia apresentações de 24 países.
162 162
2. Resumo das
apresentações
Expõe-se abaixo um resumo das apresen- —— o campo da avaliação em um país
tações e conclusões. necessita de um líder, um padrinho
forte. A Colômbia mostrou bem a
importância disso – conclusões e
Sessão Plenária 1: Utilização recomendações do seu sistema de
da Avaliação pelas Políticas avaliação permitiram alcançar pro-
Públicas e Programas gresso e melhorar o desempenho do
– Desafios, Fatores e governo;
Oportunidades – estudos de —— é necessário e pertinente avaliar

caso de países os avaliadores. No entanto, não há
um método claro para isso. A meta-
—— há necessidade de articulação posi-
-avaliação permitiria isso de maneira
tiva entre áreas de planejamento e
indireta.
avaliação independente;
—— a utilização da avaliação deve envol- Painel 1: Fatores Sistêmicos

ver a tarefa de explicar a implemen-
que Contribuem para o Uso da
tação de políticas públicas e infor-
Avaliação
mar ao parlamento e a outras partes
interessadas; Este painel contou com apresentações
dos seguintes países: Benin, Índia e Gua-
—— a participação da sociedade civil é
temala. Os principais pontos apontados
fundamental;
foram:
—— o envolvimento de diversos atores
nas avaliações (em especial bene- Índia e Guatemala indicaram como fato-
ficiários e financiadores) é impor- res que contribuem para o uso a existên-
tante, pois permite consenso sobre
cia de atores que produzam um ambien-
as forças e debilidades dos objetos
te propício e um marco institucional.
avaliados;
Sistemas de avaliação são necessários
—— a independência dos avaliadores (do como parte integral de um sistema de-
ponto de vista político e financeiro) mocrático, devendo-se ir além da pres-
é fundamental para a qualidade das tação de contas e alcançando a transpa-
avaliações; rência. Devem também ser parte integral

International Conference on National Evaluation Capacity 2011 163
notas em M&A das políticas públicas e envolver diver- zados para melhorar políticas e programas
sos atores, como a academia e a socie- e que a diferença entre auditoria e ava-
dade civil, em processos participativos. liação não está sempre clara em termos
de método. Recomendou o lançamento
Para Benin, a avaliação das políticas pú- de uma discussão junto à comunidade de
blicas foi declarada prioridade nacional, avaliação, com participação de represen-
contemplando um marco institucional tantes da auditoria e dos avaliadores para
patrocinado pelo Primeiro Ministro, que analisar metodologias, relações causais,
resultou em uma Política Nacional de Ava- competências dos auditores etc., já que as
liação, com definições sobre profissionali- práticas variam segundo tradições cultu-
zação, e no estabelecimento de um fundo rais e democráticas.
e de um conselho nacional para a realiza-
ção de avaliações. Estas são enviadas ao Marrocos mostrou a importância de de-
governo para acompanhamento das reco- senvolver um bom marco avaliativo com
mendações e divulgadas entre as partes indicadores de gênero e da incorporação
interessadas. deste tema no marco legislativo.
A Índia abordou o trinômio resultados-

Sessão Plenária 2: O Uso da
-qualidade-comunicação em seu sistema
Avaliação para Políticas
de avaliação e a regulamentação do marco
de resultados em um longo documento.
Públicas e Programas
Pontuou a importância de diferenciar mo-
– Desafios, Fatores e
nitoramento e avaliação. Oportunidades
Esta sessão contou com apresentações da
Uganda, China, Marrocos, México e Brasil.
Painel 2: Impacto das
Auditorias e Orçamento em A apresentação de Uganda mostrou que
Avaliação avaliações realizadas apontaram sérias
Este painel contou com apresentações do deficiências de coordenação de ações
Brasil e de Marrocos e teve como resultado para a erradicação da pobreza e trouxe
a conclusão de que auditorias são ativida- valiosas e acessíveis informações sobre o
des que podem contribuir de forma com- que deu e o que não deu certo, resultando
plementar para a avaliação de políticas no Plano Nacional de Avaliação, que forta-
públicas e que a integração da avaliação leceu a função avaliativa do governo.
no processo orçamentário pode melhorar
a sua efetividade. O Brasil demonstrou, Em um estudo de caso, o representante
por meio de três casos, como os resulta- da China mostrou os objetivos da avalia-
dos de auditorias operacionais foram utili- ção de um fundo de desenvolvimento nos
164
últimos 25 anos e as lições aprendidas: O Brasil apresentou os desafios da imple-
usuários primários da avaliação devem mentação da prática avaliativa no MDS: a
entender os seus propósitos; o uso e a dis- cultura, a interdisciplinaridade e a rotativi-
seminação devem ser pensados desde o dade da equipe, o convencimento dos par-
plano de trabalho; um fator de sucesso foi ceiros sobre a importância das avaliações,
o envolvimento do Ministério da Fazenda. a definição da agenda, os ritmos diferen-
Foram apontados como assuntos penden- tes entre os resultados e a necessidade da
tes a intensidade do uso dos resultados, o gestão, além da falta de experiência em
equilíbrio entre as funções dos usuários e processos de contratação desse tipo.
a independência das avaliações, bem como
a possibilidade de descoberta pelos usuá-
rios do potencial valor das avaliações.
Painel 3: Monitoramento
como Fator de Facilitação do
O Marrocos apresentou a experiência do
Uso da Avaliação
Observatório Nacional de Desenvolvi- Neste painel, as apresentações do Malawi,
mento Humano, que tem por missão ana- Nigéria, Tajiquistão e Tanzânia tiveram foco
lisar e avaliar o impacto dos programas de nos desafios enfrentados pelos países em
desenvolvimento humano e propor medi- seus trabalhos de monitoramento, identi-
das e ações para o seu aprimoramento. É ficados a seguir:
baseado em um sistema de informações
centralizado, que coloca à disposição do —— dificuldades na disponibilização de
público informações estruturadas e docu- dados estatísticos, especialmente re-
mentadas, construídas a partir de dados lativos às metas de desenvolvimento
existentes, relativas ao desenvolvimento do milênio. Não há uma metodologia
humano, para auxiliá-los em suas ativida- comum para coleta dos dados;
des de compreensão, análise a avaliação —— limitação de monitoramento partici-
de tais políticas. pativo. Foram desenvolvidos comi-
tês que permitem aos cidadãos par-
O México mostrou o modelo institucional ticiparem nos processos de coleta
criado para conduzir um conjunto de ava- de informações e sistematização de
liações dos projetos sociais e o modelo experiências, o que promoveu um
de Avaliação de Desempenho Específico maior senso de pertencimento;
(EED), enfatizando a forma de apresenta- —— mudanças em governos e finalização

ção dos resultados: sumários executivos de projetos foram outros desafios
com apenas 9 páginas1. apontados.
1 Todos os resultados podem ser encontrados no link: <http://www.coneval.gob.mx/cmsconeval/rw/pages/evalu-

acion/evaluaciones/especificas/edd_2010_2011/fichas_narrativas_eed.es.do>.

notas em M&A As recomendações feitas foram: definir uma mudança de governo vai tudo
públicos-alvo e institucionalizar o envol- abaixo. É preciso haver um esquema
vimento de diversos atores em processos mais independente das mudanças
avaliativos. de governo para não obstaculizar o
que se resolve com base legal;
—— distinção entre monitoramento, ava-

Painel 4: Estabelecendo
liação e pesquisa: necessidade de pro-
Sistemas de Avaliação
cedimentos e métodos apropriados;
Levando em conta o Uso dos
seus Resultados —— falta de requisitos de acompanha-
mento – achados são muito claros,
O painel 4 teve apresentações do Chile, mas não há compromisso do gover-
Costa Rica, Malásia, Mauritânia, Mongó- no para fazer um acompanhamento
lia e Cazaquistão com as seguintes ques- acerca das ações propostas;
tões gerais:
—— mecanismos inadequados para co-
municar os achados;
—— compromisso político de alcançar o
balanço entre a participação e a in- —— financiamento da avaliação: ficou
dependência das avaliações; claro que em alguns países se inves-
te no processo e em outros se en-
—— fortalecimento das capacidades na-
frenta desafio – impacto no sentido
cionais para gerir as avaliações – fa-
de apropriação.
tores críticos são o turnover de pes-
soal, a falta de respaldo político, a Sugestões para superar alguns dos pontos
falta de envolvimento dos atores ou melhores práticas:
e restrições orçamentárias, entre
outros;
—— institucionalização e fortalecimento
—— qualidade e disponibilidade de dada capacidade profissional para ava-
dos – alguns países têm bons siste- liação – inclui mecanismo de comu-
mas e, em outros, isso ainda é um nicação dos resultados;
desafio. Para fazer boas avaliações, é
—— asseguramento da utilização da evi-
fundamental ter bons dados;
dência, sem impor uma avaliação,
—— falta de um respaldo legal – um gru- mas contando com a capacidade dos
po pode estar interessado, mas com sistemas;
166
—— sincronização da avaliação com o Duas conclusões: o uso da avaliação
ciclo de planejamento e orçamento depende de 3 fatores: ambiente pro-
– poderia ser emulada pelos países pício (pode existir ou não a cultura de
que a praticam; boa governança de políticas públicas,
—— participação ativa dos usuários – se de transparência, de gestão de resul-

não se envolvem desde o princípio, tados e uma sociedade civil forte que
é muito difícil que apliquem as possa demandar e solicitar bons servi-
recomendações; ços), marco institucional (instituciona-
lidades, existência de um marco polí-
—— compromisso de governo com o fi-
tico, um departamento específico, uma
nanciamento da avaliação – com
agenda clara para avaliações) e capaci-
esse compromisso, podemos origi-
dades individuais.
nar o tema da apropriação.
Reconhecimento de que a avaliação é

3. Boas práticas e
realizada tanto em um ambiente técnico
lições aprendidas como em um ambiente político – estabe-
Um aspecto importante da experiência lecer estratégias políticas para avaliação,
mexicana – os templates de apresentação saber como é o processo de formulação
dos resultados das avaliações – é apresen- de política para que a avaliação possa
tar os dados de uma maneira amigável – orientar os formuladores.
experiência a considerar.
Também se discutiu sobre a oportu-
Um tema que se repetiu foi a comunica- nidade do uso de avaliações rápidas
ção e disseminação. Há informes que são – assegurar-se de que as avaliações
disseminados às partes interessadas de podem afetar os ritos e processos bem
maneira inadequada. Observou-se que a como a formulação de políticas em ní-
comunicação tem que ser pensada desde vel de país.
o início, está muito relacionada aos usos
e seus diferentes aspectos deveriam ser Há que se abordar o lado da oferta – es-
mais bem discutidos, bem como os re- cutamos sobre a qualidade da avaliação
quisitos para responder aos achados e como elemento importante. Isso tem a ver
recomendações. com a relevância e ações de apoio.

Por um Sistema Nacional
notas em M&A
de Indicadores de Direitos
Humanos
A discussão sobre Direitos Huma- (IPEA) e o Instituto Brasileiro de
nos ganhou espaço e se fortaleceu Geografia e Estatísticas (IBGE),
no Brasil nas últimas décadas. To- a SDH/PR realizou estudos, pro-
davia, ainda carecemos de cons- moveu pesquisas, organizou se-
trução de medidas que forneçam minário internacional, chegando,
mensurações apropriadas não enfim, ao que hoje é referência
apenas das violações de direitos, internacional de ponta para pro-
mas também de onde, quanto e dução de sistema de indicado-
como o país tem avançado na re- res de Direitos Humanos. O Alto
Jorge Teles
alização dos Direitos Humanos. A Comissariado para Direitos Hu-
Darlan Mesquita obtenção destas medidas impac- manos das Nações Unidas, após
tará diretamente a elaboração de extensivas pesquisas e debates
Aurélio Cepeda
análises sobre a situação dos Di- internacionais, consolidou uma
reitos Humanos no Brasil – permi- metodologia para construção de
tindo a melhoria dos relatórios, indicadores de Direitos Humanos
tanto oficiais quanto os contra- que está na fronteira do debate
informes realizados pela socie- mundial sobre o tema.
dade civil, irá qualificar o debate
público sobre o avanço destes di- A metodologia citada tem sido re-
reitos e subsidiará a formação em ferência para produção de módu-
Direitos Humanos no país. los de indicadores em instituições
internacionais que trabalham com
Para fazer frente à demanda por Direitos Humanos, como é o caso
indicadores, a Secretaria de Di- da Organização dos Estados Ame-
reitos Humanos da Presidência ricanos (OEA). Contudo, nenhum
da República (SDH/PR) iniciou em país ou entidade decidiu enfren-
2007 um processo de estudos tar uma construção completa,
sobre o estado da arte no campo que envolvesse todos os Direitos
de indicadores para Direitos Hu- Humanos – a OEA, por exemplo,
manos. A partir de mobilização só trabalha com Educação, Saú-
de entidades que trabalham com de, Trabalho e Previdência Social.
o tema, tanto nacionais quanto A SDH/PR, por meio da rede de
internacionais, de diálogo com a instituições e movimentos mobi-
168
sociedade civil e de estreitamen- lizados, propôs-se a enfrentar o
to das relações com o Instituto desafio de abordar todo o sistema,
168 de Pesquisa Econômica Aplicada realizando propostas para abarcar
todos os Direitos Humanos. Para tal, a SDH/ Constituição Federal do Brasil de 1988,
PR tem firmado parcerias e trabalhado em o que está colocado no Plano Plurianual
rede, contando com a participação ativa de 2012-2015, os acordos postos no Plano
parceiros nacionais e internacionais. Nacional de Direitos Humanos em sua
terceira edição (PNDH-3), além das legis-
O primeiro movimento foi mobilizar as par- lações específicas de cada temática. Isto
cerias internas, como IBGE, IPEA, Ministérios, dá ao país flexibilidade de atender a estas
Governos subnacionais e sociedade civil. peças jurídicas presentes, mas também
Outro passo importante foi olhar para fora, de responder prontamente a quaisquer
e chamar para colaboração os Organismos mudanças que os cidadãos e cidadãs do
Internacionais. Também foram identificados Brasil considerarem pertinentes em um
especialistas nas temáticas, nacionais e inter- ou mais desses instrumentos. Portanto,
nacionais, que pudessem enriquecer tecnica- trata-se de proposta de sistema de indi-
mente as discussões. Foram realizadas várias cadores de Direitos Humanos com caráter
reuniões, além de encontros e seminários, de ferramental de Estado, e não apenas
culminando em um grande seminário inter- de um governo, não respondendo apenas
nacional no ano de 2007, onde participaram a demanda conjuntural. Isto imprime um
representantes nacionais e internacionais caráter mais sustentável ao sistema, assim
da sociedade civil, do governo, de institui- como contribui melhor para empodera-
ções de pesquisa e de órgãos de estatística. mento no tocante a promoção, proteção e
Neste seminário foram ouvidas experiências defesa dos Direitos Humanos, reduzindo
nacionais e internacionais, além de propos- a permeabilidade do sistema a oscilações
tas sobre indicadores para o Brasil. A partir conjunturais e a mudanças de disposição
desta profícua atividade, foram realizadas de agentes unilateralmente. O sistema
conversas com as instituições parceiras e fir- proposto, portanto, não é de governo, mas
mado um acordo com dois organismos inter- da sociedade brasileira como um todo.
nacionais, para apoio à produção do sistema
nacional, a saber: UNFPA e PNUD. Também Para atender ao que se espera dele, o sis-
foram realizados contatos com o Alto Comis- tema se apropria do que está posto na
sariado para Direitos Humanos das Nações legislação nacional e internacional, pois
Unidas, o qual tem participado do desenvol- conforme a Constituição Federal do Bra-
vimento das atividades brasileiras por meio sil, no seu artigo 5º, § 3º, incluído pela
de seu escritório regional, no Chile. Emenda Constitucional nº 45/2004: “os
tratados e convenções internacionais so-
A metodologia adotada trás como vanta- bre direitos humanos que forem aprova-
gem, além de um acúmulo internacional dos, em cada Casa do Congresso Nacional,
na área, a possibilidade de se atender em dois turnos, por três quintos dos vo-
adequadamente ao que está posto na tos dos respectivos membros, serão equi-

Por um Sistema Nacional de Indicadores de Direitos Humanos 169
notas em M&A valentes às emendas constitucionais”. Esta tarefa, para ser bem-sucedida, não
O próprio princípio de Direitos Humanos pode ser enfrentada por apenas uma en-
é oriundo da Declaração Universal dos tidade – mais uma vez, o trabalho em rede
Direitos Humanos e rege a metodologia se coloca como crucial, não apenas pela
do Alto Comissariado. Os direitos são ex- importantíssima construção democrática
pressos e garantidos por lei, por meio de e participativa, legitimando o sistema, mas
tratados, princípios gerais e outras fontes também pela necessidade intrínseca de
do direito, estabelecendo obrigações que se mobilizar os diferentes saberes, para
os governos têm de tomar em determina- atender ao complexo entrelaçamento de
das situações ou de se abster de atuar em conhecimentos que é vital ao enfrenta-
outras, a fim de promover e proteger os mento a contento do desafio posto.
direitos humanos e as liberdades funda-
mentais de indivíduos ou grupos. A metodologia tem como princípio que
os Direitos Humanos são universais, ina-
As conceituações expressas acima interfe- lienáveis, indivisíveis, interrelacionados,
rem diretamente sobre o que se entende interdependentes, iguais e não discrimina-
como indicador de Direitos Humanos, que, tórios. Tendo este princípio em considera-
segundo o Alto Comissariado, trata-se de ção, para organizar as diferentes temáticas
informações específicas quanto ao estado dentro dos Direitos Humanos, o Alto Co-
de um evento, atividade ou resultado re- missariado identificou nas normativas doze
lacionado a normas e padrões de direitos grupamentos de direitos, a saber, Direito: à
humanos, o qual focaliza e reflete preocu- Vida; à Liberdade e Segurança da Pessoa;
pações e princípios de Direitos Humanos à Alimentação Adequada; à Satisfação do
e permite a avaliação e o monitoramento Mais Alto Padrão de Saúde Física e Mental;
da promoção e proteção dos Direitos Hu- de não ser Submetido à Tortura, Tratamen-
manos. Todos estes conceitos constituem to e Punição Desumanos ou Degradantes;
pedra angular para a construção apropria- de Participar em Manifestações Públicas;
da de um sistema de indicadores que dê à Educação; à Moradia Adequada; à Segu-
conta da dinâmica dos Direitos Humanos. ridade Social; ao Trabalho; à Liberdade de
Expressão e Opinião; e a Julgamento Jus-
Do ponto de vista nacional, a SDH/PR en- to. Para esses direitos, foram identificados
tende que um sistema como este deve dar atributos, os quais captam razoavelmente
conta de produzir estatísticas que se or- a essência do conteúdo normativo dos di-
ganizem pelos acordos consubstanciados reitos. Cada atributo reúne um conjunto
na legislação brasileira e sigam o objeti- de indicadores. Esses atributos traduzem
vo posto de proteção, promoção e defesa o texto da norma jurídica do direito em
dos Direitos Humanos. Isto requererá um um número limitado de temas principais,
trabalho mais fino, de reconhecimento que possibilitam definir indicadores apro-
deste aparato jurídico, bem como de do- priados para acompanhar a observância
mínio de metodologias de construção de ao direito. Eles também permitem tornar
concreto e mais tangível o conteúdo de
170 indicadores e de formulação de sistemas.
um direito e explicitar o vínculo existente são aquelas referentes a Justiça, Cultura e,
entre as disposições normativas do direito avançando a partir das novas discussões,
e os indicadores estabelecidos. Meio Ambiente. Com isto, pretende-se che-
gar a um sistema completo, que abranja
Os indicadores a serem escolhidos para todas as dimensões dos Direitos Humanos.
compor o sistema devem ser baseados no
contexto normativo do Direito Humano a A proposta de trabalho para 2012 envolve
que se referem. Eles devem refletir as obri- o trabalho em rede das instituições envol-
gações do Estado de respeitar, proteger e vidas tanto no Comitê de Acompanhamen-
realizar os Direitos Humanos, além de me- to – SDH/PR, IBGE, IPEA, PNUD e Sociedade
dir o esforço do Estado para o cumprimen- Civil, quanto da rede ampliada, correspon-
to desses mesmos direitos. Os dados de- dendo aos Ministérios, aos poderes legisla-
vem ser coletados de acordo com padrões tivo e judiciário, aos governos supranacio-
internacionais e ter disponibilidade sis- nais, aos demais movimentos organizados
temática e regular. Os indicadores devem da sociedade civil, bem como os Organis-
medir: o comprometimento do responsável mos Internacionais, com destaque para o
pelo cumprimento das normas do direito Instituto de Políticas Públicas de Direitos
(denominados Indicadores Estruturais); o Humanos (IPPDH), vinculado à Rede de
esforço empreendido para transformar o Altas Autoridades de Direitos Humanos
compromisso em realidade (Indicadores de (RAADH), e o próprio Alto Comissariado
Processo); e os resultados ao longo do tem- para Direitos Humanos das Nações Unidas.
po (Indicadores de Resultado). Os indica- A proposta de trabalho envolve atividades
dores e sua análise devem refletir normas e a distância e momentos presenciais, por
princípios de não-discriminação, tratamen- meio de oficinas – como a realizada em 9
to igualitário, indivisibilidade, responsabi- e 10 de fevereiro, para discutir os atribu-
lidade, participação e exercício de poder. A tos dos direitos, e seminários nacionais e
escolha desses indicadores é estratégica, internacionais. Em junho será apresentada
pois define o modo de acompanhamento uma primeira proposta de sistema, que irá
da política de Direitos Humanos. para consulta pública. A expectativa é al-
cançar uma versão consolidada em julho e
A partir desta metodologia, a SDH/PR tem disponibilizá-la em agosto do corrente. O
procurado atender em primeiro lugar às intuito é já neste ano dar suporte a ativida-
dimensões que possuem maior acúmulo des de elaboração de cenários, estudos e
de debate sobre indicadores no Brasil, são pesquisas, planejamento, monitoramento,
elas: Saúde, Educação, Trabalho e Renda, acompanhamento e avaliação, bem como
Previdência e Assistência Social, Direitos prestação de contas (accountability) e con-
Civis e Políticos. Também serão aborda- tribuir para advocacy, qualificação de rela-
das as áreas que não apresentam tanto tórios e contrainformes, além de subsi-
desenvolvimento, comparativamente, que diar iniciativas de formação.

Por um Sistema Nacional de Indicadores de Direitos Humanos 171
notas em M&A
IV Seminário de Avaliação
de Políticas Públicas e
Qualidade do Gasto
porto alegre, 5 e 6 de dezembro de 2011
Leonardo Maranhão Nos dias 5 e 6 de dezembro de Monitoramento e avaliação no

Busatto 2011 foi realizado em Porto mundo real: necessidades, di-
Alegre-RS, no auditório do Tribu- ficuldades e potencialidades –
nal de Contas do Estado do Rio Ariel Pares, do Ministério do Meio
Grande do Sul, o IV Seminário de Ambiente, apresentou as prin-
Avaliação de Políticas Públicas cipais questões envolvidas no
e Qualidade do Gasto. O evento contexto das avaliações públicas
foi promovido pela Secretaria da no Brasil e no mundo. Ressaltou
Fazenda do Estado do Rio Gran- que são quatro os aspectos para
de do Sul (SEFAZ), a Fundação de compreender os desafios do mo-
Economia e Estatística (FEE), a Se- nitoramento e da qualidade do
cretaria de Planejamento, Gestão gasto: disciplina fiscal, consolida-
e Participação Cidadã (SEPLAG) e ção democrática, globalização e
o Tribunal de Contas do Estado do competitividade e sociedade da
Rio Grande do Sul (TCE-RS) e teve informação.
por objetivos promover a discus-
são sobre o tema, gerar sinergia Instrumentos de monitoramen-
entre as instituições participan- to e pesquisas de avaliação no
tes, bem como disseminar boas aprimoramento de programas
práticas. Estiveram presentes no sociais: a experiência da Secre-
evento 212 pessoas, represen- taria de Avaliação e Gestão da
tando 34 instituições. Informação do Ministério do De-
senvolvimento Social e Combate
Foram proferidas nove palestras, à Fome (SAGI/MDS) – Paulo de
cujos resumos encontram-se a Martino Jannuzzi, secretário da
172 172 seguir: SAGI/MDS, apresentou os instru-

mentos de monitoramento e pesquisas princípio básico do plano, que é a seleti-
de avaliação para o aprimoramento de vidade, pois governo algum pode enfren-
programas sociais realizados por esta Se- tar todos os problemas. Assim, o núcleo
cretaria desde a sua criação e destacou do PPA deveria ser o que o Governo se
como obstáculos do avanço do monito- propõe a enfrentar, e os demais, referen-
ramento e avaliação (M&A) no Brasil: a tes à manutenção das conquistas, deve-
ausência de cultura ou formação no as- riam estar em anexo.
sunto, a resistência à avaliação por par-
te dos gestores e a confusão conceitual Avaliação do Plano Plurianual: experiên-
entre M&A e pesquisa acadêmica. Paulo cia recente e perspectivas – Pedro Berto-
acredita que as avaliações devem ser ne Ataíde, do Ministério do Planejamen-
ajustadas à maturidade, necessidades e to, Orçamento e Gestão, deu seguimento
complexidade dos programas, ressaltan- ao tema do PPA, tratando sobre experiên-
do que não existe um “padrão-ouro” de cias recentes e perspectivas da avaliação
técnicas avaliativas, mas sim uma gama do Plano Plurianual. Fez uma introdução
eclética de metodologias. ao PPA 2012-2015 quanto à sua estrutu-
ra e conteúdo, destacando as inovações
Avaliação ex-ante: importâncias e requi- implementadas: a redução no número de
sitos – Ronaldo Coutinho Garcia, repre- programas finalísticos, de cerca de 400
sentante do Instituto de Pesquisa Eco- para 65, dialogando com a estrutura de
nômica Aplicada (IPEA), discorreu sobre políticas públicas e expressando muito
avaliação ex-ante no contexto do Plano mais a multisetorialidade.
Plurianual (PPA) e qualidade do gasto
afirmando que a contenção de gastos das Desenho de políticas e tipos de avalia-
últimas décadas fez com que a máquina ção – Sonia Nahas de Carvalho, da Funda-
pública desaprendesse a gastar. Além ção Sistema Estadual de Análise de Da-
disso, salientou que o PPA é uma pro- dos de São Paulo (SEADE/SP), apresentou
gramação plurianual de despesa que se o “desenho de políticas e tipos de ava-
“orçamentalizou”, em contradição a um liação”, discutindo os tópicos: agenda do

IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto 173
notas em M&A governo; formação e gestão de políticas; recorrentes, como desenho de projetos
tipologia, avaliação e processos de polí- e busca por bons indicadores; grau de
ticas públicas. Ressaltou que entender institucionalização. As conclusões do es-
políticas públicas pressupõe a noção de tudo são que, mesmo com os avanços na
processo requerendo revisões periódi- área, ainda há pouca demanda por servi-
cas. A avaliação é parte do processo da ços de M&A nas organizações públicas,
política pública que ocorre ao longo dele devido a fatores como dificuldades de
e não deve ser confundida com a sua eta- contratação em função de procedimentos
pa final. Os agentes continuamente in- burocráticos. Além disso, a oferta acadê-
terferem ao longo dos diversos estágios, mica de cursos em M&A, considerada de
representando um contínuo de tomada qualidade regular, é escassa. Além disso,
de decisões. O ideal seria que a avalia- existem deficits metodológicos e muitos
ção fosse feita sobre cada passo, desde problemas técnicos a serem superados.
a formação da agenda, formulação, até Algumas recomendações são listadas:
a implementação das políticas e nos im- maior oferta de literatura relacionada tra-
pactos ou efeitos sociais decorrentes das duzida para o português; estímulo a pes-
ações públicas. quisas na área de M&A; criação de novas
ofertas de cursos; maior participação da
Oferta, demanda e práticas recentes em sociedade; identificação de lideranças e
M&A – Márcia Joppert, diretora-geral da formação de parcerias.
Agência Brasileira de Avaliação, apresen-
tou os resultados de pesquisa efetuada Eficiência e produtividade do setor pú-
sobre a oferta e demanda dos serviços blico: o caso da saúde – a economista
de monitoramento e avaliação no Brasil Fabiana Rocha, da Universidade de São
e a prática recente do PPA Federal 2008- Paulo, apresentou suas pesquisas na
2011. A pesquisa englobou diversos área de saúde. Relacionou a importância
pontos, como: frequência de contratação da avaliação na área da saúde à mensu-
dos serviços; principais provedores e sua ração do desperdício, atendimento das
qualidade; temas mais demandados; pro- demandas sem maior carga tributária,
blemas metodológicos e técnicos mais determinação das fontes de ineficiência
174
e aplicação de transferências de recursos contribuir para aprimorar a qualidade do
para municípios mais eficientes, por meio gasto público.
de prêmios para melhores desempenhos,
por exemplo. A pesquisa sobre a saúde Auditoria operacional: a quem interessa?
feita pela palestrante usou como método – a palestra de Dagomar Henriques Lima,
a estimação de fronteiras de produção, do Tribunal de Contas da União, apresen-
na qual se estima a eficiência da prática tou o status atual dessa natureza de audi-
efetiva em função de um nível ideal. Seu toria. Ele ressalta que ela é regrada pela
trabalho concluiu que os municípios pe- Constituição brasileira e que tem passado
quenos foram os menos eficientes, devi- por mudanças devido à experiência in-
do principalmente aos fatores de escala ternacional e novos termos. O caráter de
e demanda reduzida. Além disso, ela res- atribuição de responsabilidades do con-
saltou que os bens e serviços públicos trole externo é importante, mas sua prin-
devem ser ofertados pelo nível de go- cipal função seria o aperfeiçoamento da
verno mais próximo da população, pois gestão pública, além de estimular melho-
está mais apto a responder aos incen- rias de desempenho e desestimular não
tivos de pressão da sociedade e avaliar conformidades. Entre os métodos de res-
suas necessidades. ponsabilizar os agentes do setor público
estão modelos contratuais que premiem
Análise econômico-fiscal de projetos bons desempenhos ou modelos adminis-
de investimento público – Hailton Ma- trativos, por meio de planos de metas a
dureira de Almeida, da Secretaria do Te- serem atingidas. Para ele, auditoria repre-
souro Nacional (STN), ressaltou em sua senta passos em direção a maior transpa-
palestra o papel da STN na avaliação de rência, e não a punição, que só ocorre em
investimentos públicos federais, toman- casos onde a lei é atingida. Para atingir os
do como referência o Programa de Ace- objetivos da auditoria operacional, é im-
leração do Crescimento (PAC) do Gover- portante que os trabalhos executados se-
no Federal. Comentou que as diretrizes jam de qualidade e que se identifiquem
estratégicas da STN são criar condições os interessados, suas necessidades, valo-
para o equilíbrio do resultado nominal e res e expectativas.

IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto 175
NORMAS PARA ENVIO E PUBLICAÇÃO
DE TEXTOS NA REVISTA BRASILEIRA DE
MONITORAMENTO E AVALIAÇÃO
A Revista Brasileira de Monitoramento e

Avaliação tem o objetivo de proporcionar
uma visão plural, integrada e multidisciplinar
da área de monitoramento e avaliação em
políticas públicas, programas e projetos
sociais no Brasil e no mundo. Procura reunir
artigos e contribuições de diferentes naturezas
– conceitual, metodológica e aplicada – e
abordagens de pesquisa empírica – análises
institucionais, pesquisas qualitativas,
quantitativas, quasi-experimentais, estudos
de caso etc. –, além de resenhas e registros de
memória institucional – na forma de ensaios
ou entrevistas.
A Secretaria de Avaliação e Gestão da Informação

do Ministério do Desenvolvimento Social e Com-
bate à Fome (SAGI/MDS) coloca-se à disposição
dos autores para orientá-los na adequação de
forma dos originais, pelo endereço eletrônico
rbma.editorial@gmail.com ou pelos telefones
(61) 3433-1546, 3433-1643.
1. Normas editoriais para publicação:
1.1 Serão aceitos artigos e relatos de pesqui- derão ser reimpressos, total ou parcialmen-
sa originais preferencialmente inéditos. A seção te, por outra publicação periódica da SAGI/
“Relato de pesquisa” corresponde a relatos de MDS ou de outras organizações promotoras
trabalhos baseados em dados empíricos ou tra- ou parceiras da Revista, bem como citados,
balhos fundamentados em dados secundários. reproduzidos, armazenados ou transmitidos
Por empíricos entendem-se quaisquer trabalhos por qualquer sistema, forma ou meio eletrô-
que colecionem, sistematizem, analisem, ava- nico, magnético, óptico ou mecânico, sendo,
liem e sumarizem dados, sejam coletados pelo(s) em todas as hipóteses, obrigatória a citação
autor(es) ou secundários (e.g., de fontes e arqui- dos nomes dos autores e da fonte de publica-
vos estatísticos públicos) ou trabalhos empíricos ção original, aplicando-se o disposto no item
submetidos a uma meta-análise qualitativa – a anterior.
revisão de literatura – ou quantitativa.
1.5 As opiniões emitidas pelos auto-
1.2 Caso o texto tenha sido publicado ou res em seus trabalhos são de sua exclusiva
apresentado anteriormente em eventos públi- responsabilidade, não representando, neces-
cos (congressos, seminários etc.), deverá ser fei- sariamente, o pensamento das organizações
ta referência à publicação ou ao evento. promotoras da Revista.
1.3 A remessa ou publicação dos trabalhos 1.6 Somente serão aceitos os trabalhos que
não implicará remuneração a seus autores ou preencherem as condições citadas.
outro encargo atribuído a quaisquer das organi-
1.7 Os artigos devem ser enviados em arqui-
zações promotoras ou parceiras da edição.
vos no formato .doc, .docx ou .rtf (Word e Rich
1.4 Os artigos publicados pela Revista Text Format) para o endereço rbma.editorial@
Brasileira de Monitoramento e Avaliação po- gmail.com.
2. Normas para apresentação de artigos:

2.1 Os artigos devem ser redigidos em por- 2.4 Os artigos devem conter resumo de, no
tuguês, com, no máximo, 25 páginas. máximo, 1.450 caracteres (com espaços) e sua
respectiva tradução para a língua inglesa.
2.2 Os trabalhos devem ser precedidos por
uma folha de rosto onde se farão constar: título 2.5 Os artigos devem conter palavras-chave
pleno em português; nome do(s) autor(es), se- referentes ao seu conteúdo.
guido por afiliação institucional; indicação de
endereço, telefone, fax e e-mail para correspon- 2.6 As citações e as referências bibliográfi-
dência com o editor; situação acadêmica, títulos cas devem ser apresentadas de acordo com as
e principal atividade exercida pelo(s) autor(es). normas da Associação Brasileira de Normas Téc-
nicas – ABNT (NBR 10520 e NBR 6023:2002).
2.3 A fonte utilizada deverá ser:
2.7 Os arquivos das tabelas, gráficos, qua-
• para o corpo do texto: Times New Ro- dros e figuras devem ser incluídos ao lon-
man, tamanho 12, espaçamento 1,5 en- go do texto como tabelas/gráficos formatá-
tre linhas; veis, não como imagens. Também devem ser
enviados separadamente arquivos em Excel,
• para citações que ocupem mais de 4 li-
juntamente com a tabela contendo os valores
nhas: tamanho 11, espaçamento simples
que o originaram, ou no programa em que foram
e recuo de 4 cm;
compostos. Outras imagens devem ser incluídas
• para notas de rodapé: tamanho 10, espa- ao longo do texto e enviadas separadamente em
çamento simples. resolução de 300 dpi e em arquivo .jpeg ou .tiff. 177
3. Normas para apresentação de relatos de pesquisa:
3.1 Os relatos de pesquisa devem ser en- • para citações que ocupem mais de 4 li-
viados em arquivos no formato .doc, .docx ou nhas: tamanho 11, espaçamento simples
.rtf (Word e Rich Text Format) para o endereço e recuo de 4 cm;
rbma.editorial@gmail.com.
• para notas de rodapé: tamanho 10, espa-
3.2 Os relatos de pesquisa devem ser redigi- çamento simples.
dos em português, com, no máximo, 15 páginas. 3.5 Os relatos de pesquisa não devem con-
ter capítulos específicos de resumo, abstract,
3.3 Os trabalhos devem ser precedidos por
conclusão e referências bibliográficas,
uma folha de rosto onde se farão constar: título
pleno em português; nome do(s) autor(es), se- 3.6 Os arquivos das tabelas, gráficos, qua-
guido por afiliação institucional; indicação de dros e figuras devem ser incluídos ao longo do
endereço, telefone, fax e e-mail para correspon- texto como tabelas/gráficos formatáveis, não
dência com o editor; situação acadêmica, títulos como imagens. Também devem ser enviados
e principal atividade exercida pelo(s) autor(es). separadamente arquivos em Excel, juntamente
com a tabela contendo os valores que o origina-
3.4 A fonte utilizada deverá ser:
ram, ou no programa em que foram compostos.
• para o corpo do texto: Times New Roman, Outras imagens devem ser incluídas ao longo do
tamanho 12, espaçamento 1,5 entre texto e enviadas separadamente em resolução
linhas; de 300 dpi e em arquivo .jpeg ou .tiff.
4. Normas para apresentação de referências bibliográficas:
4.1 As informações devem ser completas: 4.4 Materiais retirados da internet devem
autor, título, local, editora, data de publicação. conter o respectivo link e data do acesso.
4.2 A norma adotada é a da ABNT: NBR 4.5 Leis, decretos, etc. devem conter o nú-
6023:2002. mero e a data.
4.3 Explique que tipo de material foi utilizado

(livro, periódico, artigo, cd, artigo de periódico).
Alguns exemplos:
Livro: No entanto, quando a entidade, vinculada

CÂMARA, G. et al. Introdução à ciência da a um órgão maior, tem uma denominação
geoinformação. 2. ed. rev. e aum. específica que a identifica, a entrada é feita
diretamente pelo seu nome:
São José dos Campos: INPE, 2001.
Ex:
Artigo de livro: BIBLIOTECA NACIONAL (Brasil). Relatório
OLIVEIRA, J. P. de; IGLESIAS, M. P. As demar- da Diretoria-Geral: 1984. Rio de Janeiro,
cações participativas e o fortalecimento das 1985. 40 p.
organizações indígenas. In: LIMA, A. C. de S.;
BARROSO-HOFFMANN, M. (Org.) Estado e po- Leis e Decretos:
vos indígenas: bases para uma nova política BRASIL. Presidência da República. Casa Ci-
indigenista II. Rio de Janeiro: Contra Capa Li- vil. Lei 8.112, de 11 de dezembro de 1990.
vraria/LACED, 2002. p. 41-68. Dispõe sobre o regime jurídico dos servido-
res públicos civis da União, das autarquias
Artigo de periódico: e das fundações públicas federais. Dispo-
MONTENEGRO, R. A.; STEPHENS, C. Indigenous nível em: <http://www.planalto.gov.br/cci-
health in Latin America andthe Caribbean. vil_03/leis/L8112cons.htm>. Acesso em:
The Lancet, v. 367, p. 1859-1869, 2006. 12 mar. 2012.
Periódico: Material retirado da internet:

BOLETIM GEOGRÁFICO. Rio de Janeiro: IBGE, BRASIL. Ministério do Desenvolvimento
1943-1978. Trimestral. Social e Combate à Fome. Alimento: di-
reito sagrado – Pesquisa Socioeconômi-
Atenção: Legislação e obras de entidades
ca e Cultural de Povos e Comunidades
de denominação genérica têm entrada pelo
Tradicionais de Terreiros. Brasília: SAGI,
nome do órgão superior ou pelo nome da ju-
2011. 200 p. Disponível em: <http://
risdição a que pertence.
www.mds.gov.br/gestaodainformacao/
Ex: disseminacao/2011/alimento-direito-
BRASIL. Ministério do Desenvolvimento So- -sagrado-2013-pesquisa-socioeco-
cial e Combate à Fome; Ministério do Meio nomica-e-cultural-de-povos-e-comu-
Ambiente. Carteira Indígena: segurança ali- nidades-tradicionais-de-terreiros/
mentar e desenvolvimento sustentável em alimento-direito-sagrado-2013-pesqui-
comunidades indígena: diretrizes gerais de sa-socioeconomica-e-cultural-de-povos-
funcionamento e acesso aos recursos para -e-comunidades-tradicionais-de-terrei-
projetos. Brasília, 2004. ros>. Acesso em: 12 mar. 2012.
179
Secretaria de Avaliação e Gestão da Informação (SAGI)
Ministério do Desenvolvimento Social e Combate à Fome (MDS)
Esplanada dos Ministérios - Bloco A - 30 andar, Sala 307
CEP 70.054-906 - Brasília/DF
sagi.dfd@mds.gov.br
Rede Brasileira de Monitoramento e Avaliação

redebrasileirademea.ning.com
redbrame@gmail.com

Rbma 02

Enviado por

Dados do documentoclique para ver informações do documento

Dados do documentoclique para ver informações do documento

Direitos autorais:

Formatos disponíveis

Rbma 02

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Rbma 02

Enviado por

Direitos autorais:

Formatos disponíveis

e avaliação

da Unicamp: proposta Cibele Yahn de Andrade

Stella Maria Barberá da

Monitorar a prática para

experiência brasileira Glauco Knopp

PUBLICAÇÕES EM DESTAQUE 160

NOTAS EM M&A 162

Monica Rodrigues, Marcelo Rocha e Kátia Ozório

Revista Brasileira de Monitoramento e Avaliação. – N. 2 (2011)- . Brasília, DF: Ministério do

ISSN: 2236 - 5877

1. Política social, Avaliação, Monitoramento, Brasil. 2. Programa Social, Avaliação, Monito-

tiragem: 5.000 unidades

© 2011 Ministério do Desenvolvimento Social e Combate à Fome.

Acesse a versão eletrônica desta publicação em:

2 Acesse outras publicações da Secretaria de Avaliação e Gestão da Informação

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

1 Fundação João Pinheiro/MG.

Os autores agradecem à Fapemig pelo apoio institucional e financeiro, em especial, ao Prof.

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

—— mulheres na faixa de 14 a 44 anos, se Minas Gerais e os seus efeitos sobre a ma-

7 Objetivos e regulamentos do PBF disponíveis no site do MDS: <http://www.mds.gov.br/programabolsafamilia/ o_progra-

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

■■ Tabela 1: Taxa de reprovação ■■ Tabela 2: Indicador de

2ª série 12.8 10.1 2.1 0.7

4ª série 8.7 6.2 2.2 0.9

5ª série 16.5 16.4 5.8 4.7

6ª série 13.6 13.7 5.0 2.7 Apesar de o ensino brasileiro, principalmente

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

14 Como bônus pelo desempenho escolar.

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

■■ Tabela 4: Efeito total do

Estratificação*** 0.026 0.009 3.019 2138 1461

Fonte: Elaboração própria a partir dos dados da PAD/MG, 2009.

na matrícula escolar de beneficiários e não be- Pretendeu-se mensurar o efeito do PBF

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

Vizinho M.P.(1) - 0.007 0.010 -0.665 1975 746

Estratificação -0.004 0.008 -0.443 1975 1305

Kernel (2) -0.004 0.007 -0.597 1975 1305

Kernel (3) -0.005 0.009 -0.628 1975 1305

Fonte: Elaboração própria a partir dos dados da PAD/MG, 2009.

■■ Tabela 7: Efeito total do PBF na assiduidade às aulas – efeitos

Fonte: Elaboração própria a partir dos dados da PAD/MG, 2009.

em sala de aula e conseguirá competir no é exatamente em função do alto grau de

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

SECRETARIA NACIONAL DE RENDA E CIDADANIA. TEIXEIRA, S. M. Trabalho Interdisciplinar nos

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

como uma reforma curricular, ou constituir —— ampliar conhecimentos nas áreas de

te nos cursos de nível superior. Discute-se —— desenvolver conhecimento dos métodos

R evista B rasileira de M onitoramento e A valiação | N úmero 2 | J ulho -D ezembro de 2011

■■ Figura 1: Níveis de avaliação do ProFIS

impactos Ÿ Aumento de renda