As origens do Saeb

As origens do Saeb* Julio Jacobo Waiselfisz entrevistado por João Luiz Horta Neto João Horta: Professor Jacobo, como iniciou seu trabalho em educação no Brasil? J. J. Waiselfisz: Nos anos 1980, todo intelectual de destaque trabalhava sobre o problema camponês, principalmente por causa da penetração do capitalismo na agricultura, que ocasionou forte deslocamento, migração e êxodo. Se o camponês é um modo de produção que preserva o capitalismo, não escravocrata, havia sérias discussões técnicas, teóricas e metodológicas a respeito e muita pesquisa de campo, no meu caso, na área de educação rural. Nessa época existia uma grande novidade para a população do campo: o Projeto Minerva, programa de educação a distância via rádio. Nesse marco, havia o interesse em avaliar o impacto de programas educativos via rádio e eu fui contratado por uma fundação educacional do Rio Grande do Sul para montar o Sistema de Avaliação de Rádio Educativo (Sare), com financiamento da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) ou Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) – não lembro bem. * Entrevista realizada na cidade do Recife, nos dias 13 e 14 de janeiro de 2015. Na impossibilidade de transcrever integralmente 12 horas de conversa gravada, cuidamos de assegurar aqui seu teor e trazer os aspectos mais marcantes da história do Saeb e as ideias do entrevistado sobre o futuro da avaliação da educação básica no Brasil. Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 177 Depois disso, formatei um programa de avaliação para uma atividade junto ao Ministério do Trabalho, que recebeu financiamento do governo do Canadá, para capacitar pequenos agricultores em cursos sobre as culturas de batata, mandioca e feijão – técnicas modernas dirigidas a setores altamente empobrecidos e atrasados para melhorar a produtividade. Depois entrava a Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que acompanhava as culturas para melhorar seu rendimento. O que se queria era medir a eficiência da rádio educativa em gerar desenvolvimento econômico no meio rural. Antes desses trabalhos, eu atuava com teoria sociológica. Depois dessas atividades, comecei a trabalhar no Instituto Interamericano de Cooperação para a Agricultura (IICA) na área de educação rural e fui prestar uma consultoria a um programa de capacitação rural no Amazonas, que acabou não tendo continuidade. Nessa conjuntura, ainda no IICA, fui convidado para assumir um convênio com foco na educação rural junto à Secretaria de Educação de Pernambuco. Eu estava entusiasmado com o movimento que acontecia na sociedade: gestão participativa, luta pela democratização, abertura democrática, Diretas Já, eleições. Havia um crescente processo de descentralização, não só no Brasil, mas em todo o mundo, que tinha relação com as novas modalidades do desenvolvimento econômico. Havia uma preocupação crescente em dar poder às escolas para a tomada de decisões. 178 Junto com as autoridades da Secretaria Estadual de Educação de Pernambuco, propusemos e implementamos um programa de planejamento participativo que chegou a abranger a totalidade das unidades escolares da rede estadual. O programa começava discutindo o planejamento no nível central (Secretaria Estadual e União Nacional dos Dirigentes Municipais de Educação – Undime), descia até o nível das delegacias regionais e depois chegava às escolas. A Secretaria fazia o diagnóstico, reunindo-se com representantes de todos os seus setores, e estabelecia as prioridades político-pedagógicas para o ano letivo seguinte. Cada delegacia regional fazia a sua análise e dava orientações para a escola. Na escola, reuniam-se os professores, os alunos e os pais dos alunos, que tomavam como ponto de partida esse material e faziam a discussão sobre a própria escola. A proposta de financiamento para a escola era simples, sintética, só uma folhinha para cada proposta que exigia financiamento. Todo o ciclo era rápido: começávamos em agosto/setembro e em janeiro estava tudo pronto. Grande parte da proposta de financiamento era para capacitação. Dentro desse diagnóstico participativo, a direção da escola e os professores decidiam quais setores precisavam do reforço de capacitação, estabeleciam os horários, tipo de aula e quem daria essa capacitação. Eles faziam um pequeno plano, cinco linhas sobre o tema, cinco sobre o porquê da capacitação e cinco sobre o orçamento daquilo que precisavam para essa capacitação. A escola recebia o dinheiro e geria a capacitação. Escolhiam-se aquelas pessoas que os professores mais admiravam a um custo equivalente a um sexto do Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 valor gasto com a formação centralizada que a Secretaria oferecia antes, pois se economizava com as viagens até os Centros de Formação, com a estadia dos professores e com a contratação de professores para substituir aqueles que estavam fazendo o curso. Além da capacitação, o planejamento envolvia as outras áreas da escola. O resultado final é que o planejamento liberava os recursos que eram geridos pela escola, atendendo à maior parte das suas necessidades. Nessa época, 1984-1985, não era comum avaliar escolas a partir do rendimento dos alunos. Para avaliar o programa, no fim do ano, fizemos uma avaliação, comparando uma amostra de escolas que tinham feito autogestão e de outras que não fizeram. Aplicamos um pré-teste; deve ter sido em português, matemática e ciências. Um ano depois, aplicamos o pós-teste. Nossa hipótese era que a capacitação por autogestão daria melhor resultado, mas, quando comparada com a tradicional, as duas não apresentaram diferenças significativas no rendimento. As duas obtiveram os mesmos ganhos, com a vantagem para aquela que usou a autogestão e cuja capacitação custava bem menos que a tradicional. Com isso seria possível sextuplicar os níveis de capacitação. João Horta: E como o senhor chegou ao MEC? J. J. Waiselfisz: Um colega que trabalhava com educação rural deixou o MEC e eu assumi seu lugar no convênio que o IICA tinha com o Ministério. Nessa época o Projeto Monhangara1 estava sendo finalizado e se estava preparando o Projeto Nordeste de Educação Básica, os dois financiados pelo Banco Mundial/Bird.2 A equipe do Bird veio ao Brasil para discutir este projeto e o MEC me solicitou a apresentação de uma proposta para a avaliação do Projeto Nordeste. Eu a apresentei por escrito, de forma bem detalhada, com princípios e objetivos. 3 Essa proposta que eu havia desenhado foi praticamente a mesma que depois foi usada no Saeb. João Horta: O senhor tinha conhecimento da avaliação que foi realizada no projeto anterior ao Monhangara, o Edurural4? Nele, segundo escritos do professor Heraldo Vianna publicados em 1985, utilizou-se um desenho quase experimental para fazer a avaliação, comparando dois grupos de escolas e, dentro destas, os desempenhos entre os alunos das beneficiadas pelo projeto e os alunos que não participaram dele. J. J. Waiselfisz: Conhecia, mas o desenho que eu propus não era nem experimental nem quase experimental, não previa nem pré-teste nem pós-teste. O Projeto Nordeste, diferentemente do Monhangara, não tinha “território exclusivo”, 1 Projeto de Ensino Básico para as Regiões Norte e Centro-Oeste (Monhangara) – 1984-1992. (N. do E.) 2 Banco Internacional para Reconstrução e Desenvolvimento, instituição que compõe o Banco Mundial. (N. do E.) 3 Waiselfisz (1988). 4 Programa de Expansão e Melhoria da Educação no Meio Rural do Nordeste Brasileiro – 1981-1985. (N. do E.) Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 179 isto é, área de programa; atuava no âmago dos processos de gestão das secretarias. Minha proposta considerava o planejamento como atividade integral, envolvendo diagnóstico, execução e avaliação. Todas as fases devem estar conectadas, não podem viver separadas. Na educação observava-se o mesmo processo de ultraespecialização das indústrias sob o fordismo. Temos duas separações, quem planeja é alguém que não executa, e quem executa é alguém que não planeja. O produtor direto também se torna independente dos produtos. Ninguém assume a mínima responsabilidade pelos produtos que se geram na educação. Nem a Secretaria, nem o Ministério, nem as escolas, nem os professores. Se queremos criar responsabilidade e queremos criar gestão, temos que reintegrar as funções. Quem planeja tem de saber executar, e quem executa tem de saber avaliar. E trocar suas práticas a partir de uma avaliação. Se não for assim, para que serve a avaliação? Resultados e conclusões praticamente acabam se perdendo. Depois que acabou o Monhangara, o que ficou? 180 Eu acreditava que não valia a pena montar projetos específicos, como o Monhangara, em que um grupo de escolas tem uma prática e outro grupo de escolas não recebe nada. Era necessário intervir no sistema educacional como um todo. Não queria avaliar um projeto, queria avaliar a educação. Dessa forma, seria possível saber se o projeto contribuiu ou não para a melhoria da educação. A proposta era avaliar as escolas e a educação dos estados, não o projeto e um grupo de escolas. Minha proposta inicial era avaliar a educação dos estados do Nordeste para depois convencer o Ministério: já que íamos avaliar os estados do Nordeste, porque não o resto do Brasil? Essas ideias foram consideradas avançadas demais. Diziam que não funcionaria aqui no Brasil. João Horta: E qual era a visão daquela equipe do Bird? J. J. Waiselfisz: O Banco Mundial sempre pregou a avaliação dos seus projetos e investimentos. Sempre queria projetos-piloto. Por causa disso, a equipe do Bird afirmou que não queria avaliação geral, mas apenas do projeto. Eu insistia e afirmava que era necessário apontar as contribuições das diversas ações empreendidas para atingir as metas regionais, estaduais e municipais e que não haveria nenhum entrave para que a sistemática e a avaliação propostas se estendessem a outros estados. Tratava-se, em última instância, de avaliar as gestões estratégicas dos sistemas educacionais. Questões relativas à universalização, à qualidade do ensino, à competência pedagógica e à gestão educacional. Em resumo, avaliar a educação. Se admitimos que o eixo central da estratégia de avaliação se encontra nos problemas diagnosticados e nas políticas formuladas para superar esses problemas, podemos colocar três questões globais que a avalição deve ter condições de responder: Em que medida as Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 políticas adotadas possibilitam o acesso à escolarização das crianças e a melhoria da qualidade? Quais são as mudanças nas condições do trabalho e nas competências pedagógicas? Em que medida a gestão educacional se torna mais democrática? Outro ponto que eu também criticava e tentava mudar era a ideia-chave de que era importante fazer um projeto-piloto para depois expandi-lo. Eu era totalmente contrário a isso. João Horta: E qual era a posição do MEC quanto a essa avaliação nacional? J. J. Waiselfisz: Pessoalmente, acho que o Ministério estava atrás do dinheiro. Não ouvi nenhuma discussão pedagógica sobre a importância do Projeto, mesmo porque quem comandava o Ministério era o antigo Partido da Frente Liberal (PFL). Talvez houvesse, mas como eu não fiz parte da equipe que discutiu o Projeto – apenas fui chamado pelo Bird para discutir a avaliação –, não dá para ter certeza. João Horta: O Bird então não tinha intenção de oferecer ao Brasil um modelo de avaliação nacional? J. J. Waiselfisz: Desde o início, pelo menos na minha experiência com o grupo do Projeto Nordeste, eles não tinham muita ideia do que fazer. Queriam uma avaliação do projeto igual à que fizeram no Monhangara, na qual o rendimento do aluno não era uma finalidade em si; era um meio para verificar o andamento do Projeto que atendia apenas a um grupo – nem nacional era. O que eu estava propondo – e isso está expresso nos primeiros documentos do Saeb – era avaliar a educação de um país – não de um projeto, não de uma área. Um sistema permanente de avaliação da educação, que não se esgotava no rendimento do aluno. São vários os fatores que contribuem para o sucesso da educação. Não me interessava saber quanto tempo o professor gasta passando lição no quadro; queria sim que ele refletisse sobre sua prática, pois é isso que faz a diferença em educação. Não me interessava saber se o professor faz isso ou aquilo. Porque sei de professores que se dão bem e se dão mal fazendo a mesma coisa. Não é a técnica nem a subtécnica que definem o que vai funcionar. Cada professor tem sua própria salada de frutas. Não existe prática melhor ou pior. Penso que não existe uma máquina de ensinar, aquela em que você coloca um insumo, mais um livro e dá um resultado ou produto melhor. Existe trabalho docente, que tem de ser formulado nas melhores condições possíveis. Coisa que os projetos do Banco não permitiam. Claro que quem tem mais grana tem melhores condições, mais insumos, melhores bibliotecas. Mas isso não é o definidor de uma melhor aprendizagem. Educação não tem milagres. Não há nada que você faça agora e que resolverá tudo em dois anos. Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 181 João Horta: E quando aquela sua proposta apresentada ao Bird foi apresentada ao MEC? Quem encampou a ideia de se discutir essa avaliação nacional? J. J. Waiselfisz: Foi Júlio Correia, então secretário-adjunto da Secretaria de Ensino de Primeiro e Segundo Grau (SEPS) do MEC – um pernambucano que depois virou reitor da Universidade Federal de Pernambuco (UFPE) –, e Madalena Rodrigues dos Santos, se não me engano a chefe de gabinete da SEPS, que anos depois foi trabalhar no Bird. Os dois haviam participado da experiência de planejamento participativo e autonomia das escolas que implantei em Pernambuco. Ambos acreditavam nessas ideias e eram contra as ideias do Bird de avaliar apenas o Projeto. João Horta: Nesse período temos dois grandes movimentos acontecendo: os estudos financiados pelo Inep e conduzidos pelo Heraldo Vianna (estudos em 10, 20 e 39 cidades para validar os testes de desempenho que seriam aplicados mais tarde), e a discussão do Projeto Nordeste. Como esses fatos se ligam? J. J. Waiselfisz: Eram movimentos independentes. Nos dois casos, os itens que foram desenvolvidos pelo Heraldo eram o que havia de comum com a minha proposta, pois usaríamos o que já havia sido feito, sem inventar nada. Mas era mais que apenas testar os alunos. João Horta: Aproveitando o tema do teste, por que foram escolhidas para serem testadas a primeira, a terceira, a quinta e a sétima séries? 182 J. J. Waiselfisz: A ideia era usar algo que já existia, a partir dos trabalhos do Heraldo que já utilizavam estas séries, e inclusive os itens que haviam sido desenvolvidos. Havia um projeto de, a partir do segundo ciclo do Saeb, criar um banco de itens. O mais importante era o desenho do sistema e aproveitar os instrumentos disponíveis: os testes da Fundação Carlos Chagas, as pesquisas sobre custo-aluno do Instituto de Pesquisa Econômica Aplicada (Ipea). Desde o início, a ideia era testar o final dos ciclos, como o Saeb começou a fazer a partir de 1995. O problema é que naquela época não se tinha os instrumentos para isso. O importante não era avaliar as séries, mas a terminalidade dos ciclos, não importa em que série o aluno aprendeu. João Horta: Por que o Saeb não incluiu o ensino médio? J. J. Waiselfisz: Primeiro, porque não tínhamos itens para essa etapa. Depois, porque na época a prioridade era o ensino fundamental, o foco das políticas do MEC. Mas se pensava sim em avançar para essa etapa. O que eu achava era que não daria para, logo de início, abarcar tudo. João Horta: E quais as referências utilizadas nesse seu modelo? J. J. Waiselfisz: O formato que eu estava propondo tinha mais a ver com o que o National Assessment of Educational Progress (Naep), dos Estados Unidos, estava fazendo. Nossa proposta, inclusive, era muito mais complexa que a Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 do Naep. De comum, havia a utilização de testes para os alunos, formulário do professor e formulário da direção. Enfim, tentar abranger o maior número possível de fatores que pudessem explicar por que o aluno tem dificuldades de aprender. Voltando ao Monhangara, sua avaliação tinha mais a ver com a avaliação do projeto e não com a qualidade; tomava o rendimento do aluno como medida e não como padrão nem patamar referencial; não julgava se os resultados foram bons, nem o que o aluno aprendera, nem o que precisava aprender. Ele apontava se o aluno aprendeu mais ou menos em relação a um grupo de controle. Não havia padrões educacionais. Queríamos avançar mais ainda; queríamos ter uma referência para a avaliação, definindo o que deveria ser o mínimo a ser aprendido e o quão distante os alunos estavam disso. Essa ideia depois foi colocada em prática no segundo ciclo do Saeb, em 1993, a partir do trabalho que já havia sido feito em Pernambuco. Isso foi a base daquilo que depois foi feito para definir as Matrizes de Referência do Saeb e, posteriormente, as Matrizes Curriculares Nacionais. Queríamos um sistema no qual fosse possível transitar de um instrumento para outro, que não fosse composto por entidades isoladas. Podia transitar de custo-aluno para proficiência da escola, experiência do professor para competência do professor, para modelo de gestão. Era um sistema de vasos comunicantes entre si – algo que não existia naquela época –, a capacidade de os diversos elementos se conectarem entre si. Os instrumentos do Saeb de hoje não mudaram muito, em termos dos testes e dos questionários que propusemos na época. Mudaram sim as técnicas utilizadas, mas as ideias iniciais com relação a esses instrumentos permanecem. Os outros instrumentos, que usavam, em parte, algumas das ideias que se desenvolveram em Pernambuco, foram abandonados. Todas essas ideias eu também levei, depois da implantação do Saeb, para o Ceará, cuja avaliação eu ajudei a desenhar. João Horta: Por que a decisão de fazer a avaliação e não de fazer medidas pontuais sobre o rendimento do aluno, sobre o que o professor consegue fazer com o aluno, o que o diretor está fazendo na gestão da escola? Pergunto isso porque hoje grande parte dos testes param na medida, não fazem nada mais do que medir. J. J. Waiselfisz: A proposta que desenhei não tinha como foco medir o que o aluno aprendeu. Os estudos do Heraldo Vianna mediam o que o aluno aprendeu. A nós, interessava ver o que o sistema estava fazendo para o aluno aprender. O foco passa do aluno para o sistema. Por isso, perguntamos a cada uma das secretarias o que o aluno deveria aprender, segundo a própria secretaria, e fomos atrás de medir se o aluno estava aprendendo o que a secretaria disse que deveria aprender. Nosso problema não era o que o aluno aprendeu. Era saber o que fez a secretaria para que o aluno aprendesse o que deveria ter aprendido. É responsabilidade do Estado para com a qualidade da aprendizagem. Por meio dos insumos mínimos, medimos o que o sistema Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 183 está dando ao aluno, não o que o aluno aprendeu. Nos estudos de Heraldo, ao não se ter como referência o que a secretaria quer que seja trabalhado na escola, foca-se apenas no fato de o aluno ter conseguido ou não aprender. Se ele não aprendeu, o que se faz com o aluno? O que se faz com um sistema que não consegue ensinar? A visão que tínhamos era essa: estamos pesquisando para ver o que o sistema conseguiu fazer para que o aluno aprenda. O foco não era o aluno, era a rede de ensino. João Horta: Depois da discussão com o Bird, qual o passo seguinte na criação do Saeb? J. J. Waiselfisz: Como o Bird não concordou em fazer a avaliação nacional em 1988, eu convenci o pessoal do Ministério de que valia a pena fazer por conta própria a avaliação nacional, porque haveria recursos. Sugeri fazer um piloto para testar os instrumentos que eu havia desenvolvido na proposta ao Bird, para depois ampliar para todo o País. Eles toparam. Como eu estava no escritório do IICA, sabia que existiam recursos que poderiam bancar esse piloto. Eu sabia também que havia recursos no Programa das Nações Unidas para o Desenvolvimento (Pnud), por volta de US$ 900 mil, que, por meio de mecanismos de cooperação entre agências, no caso a Organização dos Estados Americanos (OEA) e a Organização das Nações Unidas (ONU), poderiam ser repassados para o IICA, para financiar a aplicação nacional e a implantação de uma infraestrutura nos estados, a fim de poder coletar os dados. 184 Para viabilizar o piloto, conversamos com dois secretários de Educação, do Paraná e do Rio Grande do Norte. Eles ficaram entusiasmados com a possibilidade de obter dados que não possuíam, e imediatamente acertamos que eles ficariam com a responsabilidade da aplicação dos instrumentos, algo que caminhava na direção da descentralização das ações. O Júlio Correia topou o desafio e fizemos o piloto em setembro de 1988, na gestão do ministro Hugo Napoleão. Esse projeto-piloto gerou um relatório assinado pelo MEC e IICA5 em que consta meu nome, como coordenador do estudo, o nome das quatro pessoas da equipe técnica do MEC – entre as quais o de Maria Inês Pestana –, e o de cinco consultores que ficaram responsáveis pelos estudos de custo-aluno, gestão e professor, elementos que, junto com o teste de desempenho, compunham o Saeb. Nesse relatório sugerem-se reformulações e ajustes nos instrumentos e procedimentos do Sistema. É importante destacar: toda a equipe do MEC tinha apenas quatro pessoas! Por isso a cooperação dos estados era fundamental. Em 1989, já estava tudo pronto para a aplicação nacional, mas os recursos ainda não haviam sido disponibilizados, o que só aconteceu em meados de 1990, ano em que aconteceu o primeiro ciclo do Saeb. Nesse ano, fizemos 5 IICA e MEC (1990). Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 em julho uma capacitação de duas semanas, da qual participaram dois servidores de cada secretaria de Educação das 27 unidades federativas, em Caldas Novas, no estado de Goiás, para capacitar e discutir os instrumentos e chegar à sua versão final antes da aplicação. No final de 1990, fomos a campo, com a cooperação dos estados. Para garantir a perenidade do sistema, produzimos manual de tudo: instrumentos, procedimentos e técnicas de aplicação. Começamos a constituir uma estrutura em cada unidade federada. Montamos a equipe: coordenador, aplicadores treinados e capacitados pela própria equipe, e a equipe de processamento de dados. Elaboramos os critérios de validação: critérios para correção da produção textual – pois havia uma produção textual curta –, instrumentos de controle fundamentais para monitorar o fluxo de instrumentos de avaliação para e a partir da escola; centenas de coisas, uma longa série de instrumentos. Por fim, a constituição da amostra: manuais de amostragem, relação de turmas, quantidades de alunos e relação de alunos. Eram as próprias unidades federadas que, com base nas instruções, produziam o passo a passo, elaboravam sua própria amostra. Tudo isso sem que fosse necessário visitar os estados para verificar os procedimentos que estavam sendo executados. Eu viajava, mas só para dar uma olhada, tirar alguma dúvida, sem interferir no processo. Houve alguns erros, alguns desvios; alguns puderam ser corrigidos e outros não, mas nada que comprometesse o trabalho. Por causa da greve dos professores na época da coleta, somente Piauí e Mato Grosso do Sul não participaram do primeiro ciclo. Mas, no ano seguinte, os dois estados solicitaram e fizeram a aplicação do Saeb com recursos próprios. O objetivo era ter um ciclo a cada dois anos: anualmente não daria tempo para terminar todo o trabalho de análise e divulgação dos resultados; três anos era muito tempo. Por isso nos fixamos em dois. Se pudéssemos fazer todo ano, melhor, mas a estrutura não dava – éramos quatro ou cinco para fazer tudo. João Horta: O momento político vivido na época – redemocratização e descentralização – foi decisivo para que os estados aceitassem participar da avaliação? J. J. Waiselfisz: Grande parte do que se discutia na época era a passagem de uma estrutura autoritária para uma estrutura democrática, mas sem saber muito bem como fazer isso. Sabíamos o que queríamos quando nos referíamos a uma educação democrática, mas não sabíamos como seria uma estrutura democrática de gestão educacional. Os estados queriam esse sistema para ter acesso a informações que não tinham. Os relatórios do MEC nessa época informavam, no máximo, quantas escolas foram construídas, quantas salas, quantas matrículas e só. Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 185 João Horta: O que se esperava que esses dados provocassem? J. J. Waiselfisz: Esperava-se gerar uma discussão sobre o fazer educacional. Nos surpreendeu muito a adesão que teve o Saeb. Nenhuma secretaria gosta de receber novas tarefas, mas nenhuma disse não. O pior me aconteceu aqui em Pernambuco. Tivemos a séria oposição da Undime, que aconselhou a não participação de todos os 174 municípios, porque Recife não tinha participado da discussão sobre os currículos mínimos que orientariam a elaboração dos itens dos testes cognitivos. No final, conseguimos convencêlos e Pernambuco participou do Saeb. João Horta: Por que o próximo ciclo do Saeb, que deveria acontecer em 1992, só aconteceu em 1993? J. J. Waiselfisz: Houve problemas de recursos: o MEC não tinha orçamento e nem havia recursos externos para financiar o ciclo de 1992. Como minha família morava em Recife, eu decidi voltar ao estado e perdi contato com o pessoal do MEC. Mas o Saeb foi realizado em 1993, e, muito importante, dessa vez financiado pelos próprios estados que queriam continuar obtendo informações sobre a educação. João Horta: Mas, em 1995, o senhor volta a ter contato com a equipe do Saeb. 186 J. J. Waiselfisz: Isso. Em 1995, Maria Inês Pestana me chama porque Maria Helena Guimarães Castro, à época presidindo o Inep, queria conversar comigo. Eles ainda estavam com problemas para finalizar o relatório do ciclo de 1993, que estava com alguns buracos, principalmente de análise estatística, e queriam a minha ajuda. Se eu sou o pai do Saeb, imagina se iria recusar fazer o relatório. João Horta: Nos relatórios dos dois primeiros ciclos do Saeb, consta que foram feitas correlações simples entre rendimento e alguns fatores, de modo que seriam necessários mais estudos. J. J. Waiselfisz: Sim, seriam necessários para aprofundar estudos nas diversas técnicas de correlação múltipla. Não quis utilizar técnicas extremamente sofisticadas, porque achava que ia dificultar a compreensão do relatório. Mas a gente deveria ter feito o controle estatístico a partir do nível socioeconômico, porque explicaria muita coisa. A estratégia que seguimos na época é o que se chama de incremental: à medida que os ciclos se repetiam periodicamente, criava-se a cultura da avaliação. Para mim, avaliar não deve ser coisa só de especialista, acho que todo mundo tem de saber avaliar. A prática avaliativa tem de se incorporar à pratica cotidiana, criativa. Quem planeja tem de executar e quem executa tem que ter o poder de avaliar. Cada ciclo tem que ter uma crítica ao ciclo anterior. Coisa que não existe no Saeb atual, pois apenas se repete o que foi feito antes. João Horta: Fazia parte dos planos comparar os ciclos entre si? Por que a Teoria de Resposta ao Item (TRI) só foi usada em 1995? Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 J. J. Waiselfisz: Fazia, mas, em 1990, não sabíamos ainda como. Isso era para ser pensado no ciclo seguinte. E essa foi uma das razões pelas quais me chamaram de volta em 1995, pois não havia formas de comparar os dois ciclos. Não foram tomadas providências para isso. Aí comecei a pensar. Consultando colegas, como o Luiz Pasquali, da Universidade de Brasília (UnB), surgiu a ideia de usar a TRI. Mas não podíamos usá-la, pois não tínhamos mais os alunos que fizeram as provas em 1990 e em 1993. Assim, desenvolvemos um método para colocar as duas provas, a de 1990 e a de 1993, na mesma escala. Construímos uma amostra representativa de alunos em seis estados e aplicamos, via modelo balanceado, os itens de 1990 e de 1993 a um mesmo aluno. Isso foi feito rapidamente, com as secretarias aplicando os testes. O custo foi baixíssimo. Com os resultados em mãos, foi feito o equating de quanto representava cada prova na mesma escala. Foi um método inovador, não testado antes. Qual era a parte conceitual do método? Aplicando os mesmos itens ao mesmo aluno, tenho uma constante – a proficiência é constante, pois o aluno não mudou. O que varia é o poder de discriminação do item, a proficiência do item e não da pessoa. Mantenho constante a proficiência da pessoa e mudo a proficiência do item. Mas tenho escala de diferença entre os itens e entre os testes, juntando os itens num só teste. Isso foi o que se aplicou. Portanto, a TRI não começou a ser aplicada em 1995; foi antes, nesse trabalho que fizemos. Esse método está documentado, com poucos detalhes, no relatório do ciclo de 1993.6 Mas, quanto à forma como se usa a TRI hoje, tenho ressalvas. Como os itens não são divulgados para poder usá-los em aplicações futuras com o intuito de permitir a comparação entre os testes, fica a dúvida: qual é a vantagem de não divulgar o item e divulgar o resultado do teste? Como professor, se me mostram o item que o aluno não acertou, sei mais ou menos o que fazer. Prefiro divulgar os itens para o professor ter uma ideia do que pode ter acontecido a divulgar uma escala abstrata que o professor não entende. A ideia seria divulgar os itens respondidos pelo aluno para que o professor analisasse e discutisse o que fazer. Penso que é muito mais eficiente pedagogicamente, ao invés de divulgar escalas abstratas. João Horta: Chegamos em 1995, quando Paulo Renato Souza assume como ministro da Educação. J. J. Waiselfisz: Como comentei, fui contratado no início de 1995. Paulo Renato fazia questão da avaliação desde o início de sua gestão. Tendo criado e impulsionado o Saeb, eu era considerado figura importante nesse processo. Considero 1995 o ponto de ruptura: uma cultura de avaliação se instalando e enorme interesse das secretarias em continuar com o Sistema. 6 Brasil. Inep (1995). Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 187 Preparei um conjunto de oito sugestões para o desenvolvimento e a consolidação do Saeb.7 Vou ler aqui uns pontos do documento, e depois lhe passo uma cópia, para ser levada para a biblioteca do Inep. A primeira sugestão, na verdade, era reforçar os aspectos mais importantes da proposta original, apontando que o Sistema deveria ser patrimônio dos estados e que seria um retrocesso mudar as estratégias ou finalidades do Saeb sem a participação de estados e municípios. Apontava também que, apesar de ser um indicador relevante, o desempenho do aluno não era suficiente, pois diagnosticava uma situação sem apontar como superá-la. Além disso, afirmava que seria possível a realização do seu terceiro ciclo, ainda em 1995, apesar do curto tempo para isso. A segunda sugestão envolvia aprimorar o teste cognitivo, e eu apontava a importância do uso da TRI para melhorar o ferramental para a construção de itens e sua análise, argumentando que já existia competência para tal no Brasil, ainda que pouco desenvolvida: Philip Flecher, da Fundação Carlos Chagas, e Ruben Klein, da Fundação Cesgranrio. Para isso, sugeria duas estratégias: a mais cara seria contratar as duas instituições para o desenvolvimento de um banco de 1.200 itens ao custo de quase R$ 300 mil; a outra utilizaria os professores do Distrito Federal, treinados pelo Luiz Pasquali da UnB, para elaborar itens e depois fazer um pré-teste usando as equipes dos estados, a um custo inferior a R$ 80 mil. 188 Outras duas sugestões envolviam a reformulação dos questionários de gestão e do professor e o desenvolvimento de novos levantamentos (hábitos de estudo e leitura, nível socioeconômico familiar, participação dos pais nos estudos dos filhos e currículo familiar). As outras sugestões envolviam o aprimoramento dos cálculos amostrais, o uso de folhas para leitura ótica e a supervisão de campo. Por fim, eu sugeri a inclusão do ensino médio no Saeb. Com relação ao ensino médio, esse era um desejo do Paulo Renato, muito influenciado pelo Mares Guia,8 que tinha feito, como secretário de Educação de Minas Gerais, um sistema de avaliação que incluía essa etapa. De qualquer forma, havia um ambiente de avaliação que não existia antes de 1990. Nenhum dos ministros anteriores falou duas palavras seguidas acerca da avaliação. Já existia uma equipe no MEC que havia feito duas avaliações nacionais, atuando com deficiências – mas vinha atuando. Ninguém no Brasil tinha feito alguma avaliação nacional. Nem a Fundação Carlos Chagas, nem a Fundação Cesgranrio, nem a UnB, nenhuma delas trabalhou com as secretarias e as 27 unidades federadas, como a equipe do Saeb. A equipe do MEC era a única, nacionalmente, que tinha a expertise 7 Waiselfisz (1995). 8 Walfrido dos Mares Guia, secretário de estado de Educação de Minas Gerais de 1991 a 1994 e vice-governador de 1995 a 1999. (N. do E.) Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 para aplicar o Saeb naquele momento. Apesar disso, optou-se por contratar outras instituições para aplicá-lo. Quero reforçar aqui as duas dimensões do Saeb, conforme seu desenho original. A primeira era voltada para dentro do sistema educacional, com o objetivo de gerar conhecimento sobre a dimensão dos problemas que afetam o sistema. A segunda, voltada para fora do sistema, buscava envolver a sociedade civil nos problemas educacionais que afetam a educação pública. Uma espécie de prestação de contas, accountability, do poder público, referente a um dos serviços oferecidos à população. João Horta: Nessa época havia duas propostas sobre a mesa: a sua e a de Korte e Nash,9 que foram contratados pelo MEC para propor aprimoramentos no Saeb. J. J. Waiselfisz: Acho que as propostas não eram divergentes, as duas abordavam os mesmos pontos. Era mais uma questão de forma, pois a minha destacava a participação ativa dos estados. A outra apontava a necessidade de uma aplicação externa para garantir mais controle. O que estava em jogo era deixar o processo com o MEC e os estados ou repassar para instituições fazerem a maior parte do trabalho, envolvendo a aplicação dos instrumentos e a análise dos resultados. Outro ponto em jogo era a abrangência do Saeb para além dos testes. João Horta: Nessa época surge a ideia de accountability, algo que não era discutido antes. J. J. Waiselfisz: Nos dois primeiros ciclos, a preocupação fundamental era a de fazer avaliações, não prestação de contas. Isso deu sustentação para que o Saeb continuasse avançando. Toda a estratégia que foi montada no primeiro ciclo foi implementada. Se o próximo ciclo do Saeb não acontecesse, haveria o risco de degringolar tudo. A subida de Paulo Renato, que dava ênfase à avaliação, foi o que deu sustentação para poder continuar avançando, como comentei com Inês Pestana diversas vezes. A nossa ideia era mobilizar os estados e municípios, a partir de aplicações amostrais. Eu sei que a partir de uma amostra não se implanta o accountability, pois ninguém se reconhece numa amostra. A ideia original era apoiar política e tecnicamente a consolidação de sistemas estaduais, para que eles fizessem o levantamento sobre o universo. A nossa proposta, completamente diferente da que veio depois, era consolidar um sistema nacional de avaliação, envolvendo todos os entes da Federação e ajudando-os técnica e financeiramente. Era o modelo americano. A nosso favor havia o fato de que muitos deles aceitavam esse modelo. O interesse das escolas não é o interesse do MEC. O Ministério não vai dizer que a escola tem de fazer isto ou aquilo. Isso é com as secretarias estaduais 9 Korte e Nash (1995). Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 189 e municipais. Esse deveria ter sido o papel do MEC nessa época, e não o de pagar para que alguma instituição fizesse a aplicação do Saeb. Teria sido mais barato e mais eficiente, preservando o direito da integralidade nacional. Cada estado tem sua órbita de atuação dentro do sistema, e cada município também oferece sua colaboração. João Horta: Essa ideia estava presente na Portaria MEC nº 1.795, de 27 de dezembro de 1994, editada pelo ministro Murílio Hingel pouco antes da posse do ministro Paulo Renato. J. J. Waiselfisz: Sim, essa era a ideia. Cada estado fazendo a avaliação de cada uma de suas escolas, numa época em que não havia a mínima tradição em avaliação. Os técnicos de primeiro escalão do MEC daquela época diziam que isso era para país de primeiro mundo; aqui não iria funcionar. Não era verdade. Primeiro, todos os estados fizeram dois ciclos e ficou provado que podia ser feito. Deviam ter assumido o compromisso de continuar avançando e apoiando a criação desse sistema nacional. Ficou só na portaria de Murílio. Não houve nenhum passo do MEC nesse sentido. Terceirizamos, acabou o sistema nacional. 190 Era necessário crescer. O papel do MEC deveria ser o de estimular, discutir e orientar a criação do sistema nacional. Não com todos os estados. O sistema nacional seria criado com aqueles que tivessem interesse e condições de avaliar o universo das escolas. Que fossem 15,19, 25 etc.; à medida que o interesse surgisse, os outros se incorporariam ao sistema nacional. E haveria um banco de itens nacional, que poderia ser partilhado por todos. Retiramse itens do banco, devolvem-se novos itens – uma troca. Os estados alimentariam o nacional e o MEC os calibraria, permitindo que todos trabalhassem na mesma métrica. Assim, estados interessados teriam sua avaliação do universo escolar; os menos interessados teriam sua avaliação por amostra de escolas. Outra diferença importante do Saeb nacional por amostragem e os sistemas estaduais refere-se ao caráter e à consequência da avaliação. O Saeb nacional, apesar de sua sistematicidade, se comporta como pesquisa avaliativa reiterada no tempo; não induz per se à mudança nas unidades avaliadas. No máximo, fornece insumos para alternativas de superação em que a própria presença da avaliação se converte em poderoso instrumento indutor de mudanças. Ninguém quer ser fantoche. Com a participação dos outros entes, as coisas poderiam ser diferentes. João Horta: O senhor então acompanhou a aplicação de 1995? J. J. Waiselfisz: A aplicação e a análise dos testes ficaram por conta das fundações Cesgranrio e Carlos Chagas. A primeira ficou com a 8ª série do ensino fundamental e a 3ª do ensino médio e a segunda, com a 4ª do fundamental e a 2ª do médio. Quando os resultados chegaram, fui chamado novamente porque os dados estavam mostrando que os alunos da 3ª série do ensino médio apresentaram Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 desempenho inferior aos da 2ª. Isso não fazia sentido e queriam que eu ajudasse a encontrar uma saída. Durante as negociações entre as duas instituições, a análise dos resultados foi feita de forma diferente por cada uma delas, utilizando-se modelos também diferentes. Na época, decidiu-se deixar de lado o resultado da 2ª série e divulgar apenas o da 3ª. A minha opinião era de não divulgar nenhum dos dois, dado que não se sabia se o erro estava no segundo ou no terceiro ano, ou em ambos. Sugeri estudar melhor o que poderia ter acontecido, aprimorar os mecanismos e fazer a aplicação no ciclo seguinte. Não fui ouvido. Por diversos motivos, a minha situação com a cúpula do MEC foi ficando cada vez mais delicada, e eu resolvi sair. Voltei para Recife e fiz algumas consultorias, por intermédio da Unesco, em Alagoas e no Maranhão, com o objetivo de desenvolver sistemas de avaliação. De vez em quando algumas pessoas ainda me chamam para discutir o tema. João Horta: Considerando sua posição privilegiada no processo, pelo menos nos estágios iniciais, o que fez com que a avaliação fosse um dos mais longevos programas do MEC, passando por Sarney,10 Itamar,11 FHC,12 Lula13 e Dilma14? J. J. Waiselfisz: O Saeb não foi um instrumento inventado, uma ideia que foi vendida. Quando foi desenvolvido, ele estava respondendo a uma necessidade muito grande do momento. A avaliação se vendeu sozinha, ninguém teve de fazer muita propaganda para ser adotada. Essa era a novidade. Sentia-se tanto sua necessidade que o segundo ciclo foi financiado pelos próprios estados. Veio a calhar na hora justa, no momento justo. Hora justa porque havia uma grande virada nas políticas educacionais. Passou-se do quantitativo para o qualitativo. O problema da oferta, uma grande preocupação do Brasil, estava bem encaminhado e os holofotes foram direcionados para a qualidade. Ninguém sabia muito bem o que fazer e o Saeb foi importante para começar a dar algumas respostas, apesar de seus defeitos e problemas. Suas análises ajudaram, de alguma forma, a escola a se converter em uma entidade gestora de políticas e não em entidade executora de decisões. Nesse momento, frutificou a eleição de diretor e também questões ligadas à gestão e democratização escolar. A partir da virada do século, o poder de decisão política se coloca nas duas pontas do processo pedagógico: na formulação de grandes metas e grandes objetivos a serem atingidos em cada momento histórico e no controle e supervisão dessas metas, à medida que estão sendo alcançadas e se foram alcançadas. O Saeb se encaixa nessa segunda parte. A criação de parâmetros curriculares respondeu até certo ponto à primeira parte. 10 José Sarney de Araújo Costa, presidente do Brasil, 1985-1990. (N. do E.) 11 Itamar Augusto Cautiero Franco, presidente do Brasil, 1992-1995. (N. do E.) 12 Fernando Henrique Cardoso, presidente do Brasil, 1995-2002. (N. do E.) 13 Luiz Inácio Lula da Silva, presidente do Brasil, 2003-2010. (N. do E.) 14 Dilma Vana Rousseff, presidente do Brasil, 2011-2016. (N. do E.) Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 191 Quando encontro um professor, pergunto: como foram no Saeb? O professor sabe o que é, sabe que existe, sabe das metas, é de sua escola. Sabe que é uma prova e sabe se foi bem, regular ou mal. Mas não tem como aprofundar mais nada. A própria concepção do Saeb faz isso; gera um cansaço pela utilização de escalas incompreensíveis. Acredito que 90% do potencial do Saeb não é empregado. Acho que se deveria voltar às origens, porque havia propostas muito promissoras que foram abandonadas pelo caminho. Hoje temos condições que não tínhamos naquela época. As secretarias estão informatizadas. Não temos que mandar computador para as escolas. Podemos pensar alternativas diferentes para o ensino médio, como os testes adaptativos. Devemos ir pensando em alternativas como essa. A tecnologia mudou; as técnicas mudaram. Só o Saeb que não mudou em 25 anos. Acho que o Saeb precisa se repensar. E qual o papel do MEC dentro do Sistema Nacional de Avaliação? Acho que o papel do MEC não é vender pacotes nem ser intermediário entre a grande indústria pedagógica educacional do Brasil e a escola. O papel do MEC é criar e desenvolver competências. Introjetar as metas e os objetivos de uma sociedade democrática dentro da sua própria estrutura. Se queremos criar democracia, não pode ser mediante autoritarismo. 192 Uma gestão democrática exige autonomia nas decisões, participação nas decisões – algo que não encontro nem no MEC nem nas próprias secretarias. Os gestores estão comprando competências e passam a depender delas. Mas não se pode esquecer: o desempenho do aluno é um indicador privilegiado, mas não se pode considerá-lo suficiente. Como indicador do processo, diagnostica uma situação, mas não aponta como podemos superála. Para que possamos compreender mais sobre a qualidade do ensino, são necessários outros indicadores que possam explicar as condicionantes extra e intraescolares; em última instância, é necessário passar o registro dos efeitos à consideração das possíveis determinantes. Hoje tudo o que interessa é aplicar os testes. O resto é resto. O que interessa é dar tabelinhas e resultados. A ideia de sistema de avaliação se perdeu, hoje não existe. O Saeb deveria continuar sendo patrimônio dos estados, depois ser aprofundado pelos municípios e, mais ainda, pelas escolas. Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 Referências bibliográficas BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais (Inep). Relatório do 2º ciclo do Sistema Nacional de Avaliação da Educação Básica, Saeb-1993. Brasília, 1995. 165 p. INSTITUTO INTERAMERICANO DE COOPERAÇÃO PARA A AGRICULTURA (IICA); MINISTÉRIO DA EDUCAÇÃO (MEC). Relatório da aplicação piloto do Sistema de Avaliação do Ensino Público de Primeiro Grau. Brasília: IICA, 1990. 109 p. KORTE, Robert C.; NASH, Beverly E. Review of the Sistema Nacional de Avaliação da Educação Básica (Saeb). Brasilia: Inep, 1995. 35 p. WAISELFISZ, Jacobo. Proposta de avaliação do programa de educação básica para o nordeste (VI acordo MEC/Bird). 1988. Mimeo. 21 p. WAISELFISZ, Jacobo. Sugestões para a reformulação do Saeb. 1995. Mimeo. 14p. Julio Jacobo Waiselfisz, formado em Sociologia pela Universidade de Buenos Aires, com mestrado em Educação pela Universidade Federal do Rio Grande do Sul (UFRGS), trabalhou como docente, pesquisador e gestor universitário na Argentina, em El Salvador e no Brasil. Trabalhou no Instituto Interamericano de Cooperación para la Agricultura (IICA), órgão da Organização dos Estados Americanos (OEA), na área de educação rural, desenvolvendo atividades em Pernambuco e, depois, em Brasília; na Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco), em Brasília e em Recife; prestou diversas consultorias para o Ministério da Educação (MEC). Atualmente, integra os quadros da Faculdade Latino-Americana de Ciências Sociais (Flacso), sediada no Rio de Janeiro, onde atua como professor, pesquisador e coordenador da área de estudos da violência e, desde 1998, coordena a pesquisa Mapa da Violência no Brasil e continua se dedicando aos estudos da avaliação educacional. juliowa@gmail.com João Luiz Horta Neto, doutor em Política Social e mestre em Educação pela Universidade de Brasília (UnB), é pesquisador do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Possui diversos capítulos de livros e artigos publicados sobre a avaliação educacional. jlhorta@gmail.com Recebido em 9 de maio de 2016 Aprovado em 3 de junho de 2016 Em Aberto, Brasília, v. 29, n. 96, p. 177-193, maio/ago. 2016 193