1. Há mais de 20 anos, o autor alertava para o avanço das políticas neotecnicistas no Brasil, inspiradas no neoliberalismo e defendidas por Chubb e Moe. Essas políticas enfatizam a responsabilização, meritocracia e privatização na educação.
2. Apesar de contidas durante os governos Lula, essas políticas continuaram ganhando força, defendendo o controle dos processos escolares por meio de avaliações padronizadas e recompensas/punições baseadas em mérito.
3. O autor
1. Há mais de 20 anos, o autor alertava para o avanço das políticas neotecnicistas no Brasil, inspiradas no neoliberalismo e defendidas por Chubb e Moe. Essas políticas enfatizam a responsabilização, meritocracia e privatização na educação.
2. Apesar de contidas durante os governos Lula, essas políticas continuaram ganhando força, defendendo o controle dos processos escolares por meio de avaliações padronizadas e recompensas/punições baseadas em mérito.
3. O autor
1. Há mais de 20 anos, o autor alertava para o avanço das políticas neotecnicistas no Brasil, inspiradas no neoliberalismo e defendidas por Chubb e Moe. Essas políticas enfatizam a responsabilização, meritocracia e privatização na educação.
2. Apesar de contidas durante os governos Lula, essas políticas continuaram ganhando força, defendendo o controle dos processos escolares por meio de avaliações padronizadas e recompensas/punições baseadas em mérito.
3. O autor
1. Há mais de 20 anos, o autor alertava para o avanço das políticas neotecnicistas no Brasil, inspiradas no neoliberalismo e defendidas por Chubb e Moe. Essas políticas enfatizam a responsabilização, meritocracia e privatização na educação.
2. Apesar de contidas durante os governos Lula, essas políticas continuaram ganhando força, defendendo o controle dos processos escolares por meio de avaliações padronizadas e recompensas/punições baseadas em mérito.
3. O autor
Baixe no formato PDF, TXT ou leia online no Scribd
Fazer download em pdf ou txt
Você está na página 1de 35
1
Responsabilizao, meritocracia e privatizao:
conseguiremos escapar ao neotecnicismo?
Luiz Carlos de Freitas 1
Resumo: Na Conferncia Brasileira de Educao de 1992nos perguntvamos se conseguiramos, no Brasil, escapar ao desenho das polticas pblicas neotecnicistas que se constituam no interior do neoliberalismo. Quase 20 anos depois, elas avanam e continuam rondando a poltica pblica educacional procurando se instalar apoiadas em novas teorias destinadas a perseguirasvelhas finalidades. Institutos privados, ONGs, movimentos fartamente financiados por corporaes empresariais procuram implementar a viso da educao como um subsistema do aparato produtivo, cujos objetivos so definidos, internacionalmente, pela OCDE via PISA. Parao neotecnicismo, a educao somente pode melhorar por adio de tecnologia e aumento de controle sobre diretores, professores e alunos via avaliao de standardsinternacionais de desempenho, responsabilizao e tcnicas de pagamento por meritocracia combinadas com privatiza- o. Largamente testada nos Estados Unidos, amplia-se agora na Inglaterra com a volta dos conservadores ao poder e, no Brasil, ganha fora ao nvel dos Estados e Municpios. H no Congresso a discusso do PNE e da Lei de Responsabilidade Educacional que, se no acompanhadas, podero facilitar a proliferao desta viso. Conceitualmente, setores da esquerda sero tentados a ocultar a privatizao diluindo-a em uma distino fictcia entre pblico estatal e pblico no-estatal, enquanto liberais e conservadores trabalharo abertamente pela privatizao da educao. A convergncia destas ideias poder levar o ensino pblico sua destruio. Palavras-chave: responsabilizao meritocracia privatizao pblico no estatal - testes
H mais de 20 anos, nos deparvamos com a articulao poltica liberal-conservadora que se convencionou chamar no mundo todo de neoliberalismo uma juno de interesses polticos e econmicos destinada a revitalizar as taxas de acumulao de riqueza em queda na dcada de 70(O'Connor, 1986) (Gamble, 1988). A liderana do movimento estava com M. Thatcher na Ingla- terra e com Reagan nos Estados Unidos. A fora avassaladora destas polticas na Amrica Latina ainda deixaria suas marcas e produziria seus anticorpos em vrios pases do bloco. A partir dos anos de 1990, o impacto destas teorias no campo das polticas pblicas edu- cacionais tem sido enorme. O guru que antecipou a formulao destas propostas foi o livro de Chubb e Moe chamado Polticas, mercados e as escolas da Amrica (Chubb & Moe, 1990). No Brasil, o governo de Fernando H. Cardoso encarnou, na figura de seu Ministro da Edu- cao, Paulo Renato Costa Souza e equipe a aplicao de uma srie de receitas que chamei, na CBE de 1992, de neotecnicismo(Freitas, 1992). Mas j na poca de Fernando Collor esta orienta- o educacional estava sendo gestada.
1 Professor Titular da Faculdade de Educao da UNICAMP. Http://avaliacaoeducacional.zip.net; Coordenador do Mo- vimento contra Testes de Alto Impacto. Https://sites.google.com/site/movimentocontratestes. Esta pesquisa contou com financiamento do Programa CAPES Observatrio da Educao. Texto apresentado no III Seminrio de Educao Brasileira promovido pelo CEDES no Simpsio PNE: DIRETRIZES PARA AVALIAO E REGULAO DA EDUCAO NACIONAL, fevereiro de 2011. Verso sujeita a modificaes. 2
O termo fazia referncia definio de tecnicismo dada por Dermeval Saviani em Escola e Democracia (Saviani, 1986) e era aplicado a esta nova investida liberal/conservadora na poltica educacional, preservando os mesmos traos originais do tecnicismo descrito por Saviani, mas alertando para o uso de outra plataforma operacional, j formulada na poca por Chubb e Moe. 2
Para Saviani, o tecnicismo como orientao pedaggica: A partir do pressuposto da neutralidade cientfica e inspirado nos princpios da racionali- dade, eficincia e produtividade, [...] advoga a reordenao do processo educativo de maneira a torn-lo objetivo e operacional. (...) ... na pedagogia tecnicista (...) o proces- so que define o que professores e alunos devem fazer, e assim tambm quando e como o faro.
E conclui: Compreende-se, ento, que para a pedagogia tecnicista (...) marginalizado ser o incom- petente (no sentido tcnico da palavra), isto , o ineficiente e improdutivo. A educao estar contribuindo para superar o problema da marginalidade na medida em que formar indivduos eficientes, portanto, capazes de dar sua parcela de contribuio para o aumen- to da produtividade da sociedade. Assim, ela estar cumprindo sua funo de equalizao social. Neste contexto terico, a equalizao social identificada com equilbrio do siste- ma ... (p. 16-17).
Outro no deixa de ser o significado de equidade expresso que se tornou atualmente politicamente correta para justificar a presso sobre as escolas e professores, assumindo que a eles cabe produzir o equilbrio do sistema se no de fato, pelo menos como oportunidade da- da a todos em especial aos mais pobres -, os quais a agarram segundo o esforo que preten- dam dispender. Este o limite do liberalismo. Ele no pode conviver com a noo deigualdade de resultados, j que atribui ao esforo um papel central na explicao do sucesso de um indiv- duo reminiscncia do dom e ao mesmo tempo, base da justificativa para as desigualdades sociais. A anlise conceitual de Saviani perfeitamente vlida para o contexto neotecnicista mais recente, apresentado agora sob a forma da teoria da responsabilizao e/ou meritocracia, onde se prope a mesma racionalidade tcnica de antes na forma de standards de aprendiza- gem medidos em testes padronizados, com nfase nos processos de gerenciamento da fora de trabalho da escola (controle pelo processo, bnus e punies), ancoradas nas mesmas concep- es oriundas da psicologia behaviorista, da econometria, das cincias da informao e de siste- mas, elevadas condio de pilares da educao contempornea. Segundo Taubman (2009), essa: ... cultura de auditoria refere-se emergncia de sistemas de regulao na qual as ques- tes de qualidade so subordinadas lgica da administrao e na qual a auditoria serve
2 Ver (Freitas, 1992a); (Freitas, 1992b) e (Freitas, 1995). 3
a uma forma de meta-regulao por meio da qual o foco o controle do controle (p. 108).
Est associada a uma srie de termos trazidos da convivncia das grandes corporaes como valor agregado, qualidade assegurada, responsabilizao, transparncia, melhores prticas, mrito, etc. A adjetivao de neotecnicista, dada h mais de 20 anos (Freitas, 1992), no incio dos embates com os neoliberais era um alerta retomada deste tipo de pedagogia e seu fortalecimento nos anos que se seguiriam e no uma necessria reconceitualizao do termo. Infelizmente, a previso de seu fortalecimento estava certa e foi o que ocorreu nos anos seguin- tes. No podamos imaginar, poca, todas as feies deste movimento pressentido. Hoje, ele se configura de maneira ntida a partir das propostas educacionais de controle do aparato escolar por meio de meritocracia e responsabilizao, controle dos mtodos a partir de apostilamento de redes inteiras, privatizao via Organizaes Sociais, entre outras aes. Enfim, seu objetivo organizar a educao como os negcios so organizados: o que bom para mercado bom para a educao.
Uma contradio antiga, retomada A implementao do neotecnicismo no Brasil s no foi mais virulenta devido aos dois go- vernos de Lus Incio Lula da Silva.J em 1994, Eunice Durham, ento na equipe do Ministro da Educao Paulo Renato Costa Souza, escrevia na Folha de So Paulo: O grande papel do Estado reside na sua capacidade de avaliao do desempenho escolar. isso que deve orientar o salrio dos professores e o oramento das escolas (Durham, 1994, p. 3). Isso no significa que reas dentro do Ministrio da Educao, mesmo sob o governo Lula, no evoluram nesta direo, embora sempre de forma contida pela orientao geral do Ministro Fernando Haddad. o caso do INEP, onde estas formulaes sempre foram vistas com simpatia, pelo menos at recentemente. O ex-presidente do INEP, Reynaldo Fernandes, 3 dizia em entrevista no ano de 2007: Antes do No Child Left Behind [lei aprovada em 2002, no governo Bush, que visa me- lhoria da qualidade da educao por meio de um sistema de prestao de contas baseado em resultados], a maioria dos Estados j tinha sistema de avaliao. Nos que primeiro cri- aram um sistema, a evoluo do desempenho dos alunos foi mais acentuada. Esses siste- mas fazem com que as escolas e os dirigentes dos sistemas (secretrios, prefeitos e go- vernadores) se sintam responsveis pelo desempenho. a ideia da responsabilizao, de accountability (Fernandes, 2007).
3 Economista da USP Ribeiro Preto, hoje membro do Conselho Nacional de Educao. 4
Entre os primeiros estados americanos a usar sistemas de avaliao, estava oTexas, terra de G. Bush onde, ainda como governador, testaram-se as teses de responsabilizao que depois seriam incorporadas por ele, agora como presidente dos Estados Unidos, e por Rod Paige 4 na lei de responsabilizao educacional No Child Left Behind. O Milagre do Texas ou a Responsabili- zao ao Estilo Texas, hoje sabemos, virou estudo de caso, inclusive sobre fraudes nas estatsti- cas de evaso de alunos (Leung, 2004) e sobre como estas polticas impactaram negativamente as possibilidades de progresso dos alunos mais pobres(Heilig & Darling-Hammond, 2008)(Valenzuela, 2004). Oex-presidente do INEP reconhecia que existiam efeitos colaterais, mas argumentava que no se pode deixar de dar um remdio para a educao por causa dos efeitos colaterais que ele pode causar (idem, 2007). Sobre um possvel questionamento da proximidade das suas propostas com a poltica e- ducacional do governo Fernando Henrique Cardoso, Reynaldo Fernandes antecipa sua argumen- tao dizendo: Quando a primeira-ministra Margareth Thatcher fez a reforma educacional, dizi- am que era uma viso de direita. Quando o Tony Blair se tornou primeiro-ministro, acreditavam que ele suspenderia a reforma. Mas ele a reforou e combateu os efeitos colaterais (Idem, 2007). O IDEB (ndice de Desenvolvimento da Educao Bsica) foi implantado inspirado nesta fi- losofia. Na I Conferncia Brasileira de Educao Bsica, participei de um simpsio com o ento Diretor de Avaliao da Educao Bsica do INEP, Amaury Patrick Gremaud, 5 no qual ele explicava como o INEP via a importncia da noo de responsabilizao. Impedida de avanar via esfera federal no ritmo que desejava, restou a esta formulao caminhar via Estados e Municpios, por um lado 6 , e organizar-se na forma de movimentos, por outro, cujo ncleo articulador, no Brasil, o Movimento Todos pela Educao e sua ligao com ONGs, Institutos e toda sorte de organizaes fartamente financiadas por empresas e corpora- es privadas, que agem para convencer lideranas polticas e educacionais a seguir estas teses por exemplo, (Gall & Guedes, s/d)(Parceiros_da_Educao, 2010). Economicamente, o Brasil hoje muito diferente do que poca das primeiras tentativas liberais de implantar esta poltica educacional. Hoje um candidato a pas emergente com alto
4 Paige era Secretrio da Educao no Texas quando Bush era governador. Conduziu o processo. Uma vez presidente, Bush fez de Paige seu Ministro da Educao. 5 Economista da USP-Ribeiro Preto. Ficou no cargo at 2008. Hoje tambm consultor do BID Banco Interamericano de Desenvolvimento, alm de membro do Conselho Consultivo da empresa de avaliao Avalia. 6 O Estado de So Paulo abrigou esta poltica nos ltimos 15 anos. Em geral onde o Estado ou Municpio administrado pelo PSDB e pelo DEM esta poltica tentada ainda que tenha encontrado adeptos em outros partidos tambm, p. ex. PDT. 5
grau de investimentos produtivos e que, portanto, chama a ateno do capital internacional como palco de alocao de recursos. Isso faz com que as corporaes se organizem para garantir as condies gerais de funcionamento adequadas realizao do lucro sobre os investimentos, en- volvendo reduo da misria (e consequentemente das turbulncias que ela causa, as quais afu- gentam o capital); o desenvolvimento da infraestrutura (o PAC) e, claro, a melhoria da qualidade da educao, entendida esta como um subsistema da produo entre outros aspectos. Estes fatores exercem fortes presses de curto prazo, em especial no campo da poltica educacional. H 20 anos, as razes econmicas de hoje estavam ausentes. Este cenrio reproduz na rea da educao embora sob outras condies -, o ocorrido nos Estados Unidos com a organizao de um grupo de empresrios conhecido como Business Roundtable, muito bem descrito por Emery (2005), com a finalidade de controlar a poltica educa- cional: ... os CEOs 7 do Business Roundtable concordaram em que cada legislatura estadual ne- cessitaria aprovar uma legislao que impusesse uma "educao baseada em resultados", "com expectativas elevadas para todas as crianas", "recompensas e sanes para as es- colas individuais", e "maior deciso baseada na prpria escola" e alinhar o desenvolvi- mento do quadro de pessoal com estes itens de ao. Em 1995, o Business Roundtable re- finou sua agenda em "nove componentes essenciais", sendo os quatro primeiros: padres estaduais, testes estaduais, as sanes, e a transformao dos programas de formao de professores. Em 2000, os nossos CEOs tinham conseguido criar uma rede interligada de associaes empresariais, fundaes empresariais, associaes de governadores, sem fins lucrativos e instituies de ensino que conseguiram convencer 16 assembleias legislativas estaduais a aprovar os trs primeiros componentes da sua agenda de testes de alto im- pacto. Esta rede incluiu o Education Trust, Annenberg Center, Harvard Graduate School, Public Agenda, Achieve, Inc., Education Commission of the States, the Broad Foundation, Institute for Educational Leadership, laboratrios regionais financiados pelo governo fede- ral e a maioria dos conselhos editoriais dos jornais (p. 1).
Retomando a nossa questo inicial sobre se Conseguiremos escapar ao neotecnicismo? formulada h mais de 20 anos a resposta inicial que podemos dar que to somente conse- guimos, na esfera federal e em Estados e Municpios administrados por correntes mais progressis- tas, posterga-lo. Entretanto, a atual situao econmica do Brasil no cenrio internacional e as perspecti- vas de disponibilidade de mo de obra associadas a esta posio econmica, criaram demandas que fazem com que estas ideias sejam agora focadas com maior ateno pelas elites empresariais brasileiras. A batalha prevista h 20 anos, est em pleno curso - ver, por exemplo, (Soares & Hachem, 2010).
7 O termo uma abreviatura deChief executive officer que d a sigla CEO, em ingls. Pode ser traduzido por Diretor executivo ou Diretor geral de uma empresa ou corporao. 6
Este movimento das corporaes tem por funo lidar com a configurao da fora de trabalho brasileira, a qual tem problemas de quantidade e de qualidade.Segundo o atual Ministro da Fazenda Guido Mantega: O Brasil hoje um pas de 4,5%, 5% de crescimento 7,5% [em 2010] foi um crescimento excepcional que sucedeu um ano com [crescimento] zero. O Brasil ainda no tem condi- es de crescer a 7,5%, ele ter. Porque voc tem pontos de estrangulamento. Se conti- nuar crescendo exageradamente tem falta de mo de obra, de infraestrutura (Mantega, 2011).
Segundo Arbache(2011), esta configurao ser agravada fortemente pela queda de taxa de nascimentos, no deixando ao capital outra alternativa vivel seno a de depender de uma fora de trabalho mais qualificada. Entretanto, uma qualificao maior poderia elevar os salrios a serem pagos no futuro, se no houvesseuma ampliao da base de pessoal qualificado. Maior base de trabalhadores qualificados conduz a menores salrios. Enquanto isso no ocorre, a solu- o facilitar as formas de importar trabalhadores de outros pases, sempre a salrios mais redu- zidos. Os dados americanos suportam esta suspeita. Diz Clawson: No o suficiente para os republicanos de hoje que o 1% mais rico da populao [ameri- cana] tenha 24% da renda da nao. No suficiente para eles que 20% da populao de- tenha 85% da riqueza. No suficiente para eles que a mediana dos salrios semanais, quando ajustados pela inflao, tenha cado ligeiramente tanto para os formados no ensi- no mdio como para os graduados nos colleges entre 2000-2009, de acordo com uma re- cente anlise do Economic Policy Institute, um think tank de Washington (Clawson, 2011).
neste mesmo perodo, 2000 a 2009, que as polticas pblicas americanas foraram a ampliao do nmero de formandos atravs da Lei de Responsabilizao da Educao americana chamada No Child Left Behind. Um excelente artigo de Jorge Arbache (2011) com o ttulo Brasil precisa elevar produtivi- dade mostra porque as corporaes empresariaisvo pressionar o governo Dilma por uma revo- luo na educao. A anlise do autor diz que o Brasil est passando por profunda transformao demogr- fica. A taxa de fecundidade (ou seja, reproduo da fora de trabalho) caiu de 2,8 filhos por mu- lher para 1,9. A taxa de crescimento populacional caiu de 1,8% em 1990 para 0,9% em 2010. De fato, a taxa de fertilidade caiu de 3 para 2 filhos por mulher em apenas 18 anos (1988 a 2005). Segundo o autor, esta mudana demogrfica ter grandes repercusses econmicas, "como o aumento dos custos das aposentadorias, servios de sade e a presso sobre taxa de poupana e sobre o mercado de trabalho. Mas os dados revelam que a taxa de crescimento da populao ativa j negativa embora a populao que chega ao mercado continue crescendo, ela cresce e 7
crescer a um ritmo menor. No por acaso a taxa de desemprego vem caindo e os salrios reais aumentando diz o autor. Esta a fonte de preocupao das corporaes: taxas de desemprego declinantes signifi- cam mais pleno emprego e isso conduz a salrios mdios maiores corolrio: taxas de lucro me- nores.Segundo Arbache: a partir de 2020, a proporo da populao em idade ativa comear a declinar, trazendo consigo presses maiores. Para que a economia continue crescendo de forma sustentada agrego: com lucros sustentados ser necessrio encontrar formas de mitigar as presses demogrficas. Parece que 2020 um ano mgico para todos. Quais so as alternativas? O autor examina vrias. A migrao do campo para a cidade alternativa de possibilidades limitadas, pois restam apenas 16% da populao nas reas rurais. Ou seja, esta fonte secou. Retirando as pessoas do campo e jogando-as nas cidades, criava-se fluxo continuo de desempregados e de escolarizveis para alimentar as corporaes. Uma segun- da alternativa, o aumento da taxa de participao da fora de trabalho, tambm no, pois a taxa de participao, inclusive a das mulheres, j de 73%. Outra fonte que secou. Outra forma seria aumentar a taxa de investimento. Mas a baixa taxa de poupana sugere ser essa uma possibili- dade tambm de alcance limitado. A no possibilidade de apoiar a economia brasileira nestas alternativasdeixa somente uma possibilidade, segundo o autor: ... implica que teremos que nos apoiar no avano da produtividade do trabalho. (...) O crescimento da produtividade , no entanto, historicamente baixo e vem crescendo mo- deradamente, a taxas bem menores que as dos pases dos Brics 8 . Entre 2000 e 2009 a produtividade no Brasil cresceu em mdia 0,4% ao ano, enquanto que na China e na India ela cresceu 5,2% e 2,8%. Logo, o aumento da produtividade vai requerer redobrados es- foros do governo e da sociedade.
Depois de citar vrias aes necessrias para tal, o autor chega ao ponto: O aumento da produtividade requer ainda a melhoria da qualidade da educao, o au- mento da produtividade do setor informal e das micro e pequenas empresas e o incentivo meritocracia, de forma a valorizar a acumulao de capital humano e o desempenho no trabalho. Essa agenda ter que contar com o apoio de reformas que ajudem a mitigar os efeitos das mudanas demogrficas no mercado de trabalho, como a flexibilizao da le- gislao trabalhista e a mudana na legislao previdenciria, para que as pessoas no se aposentem to prematuramente.
Segundo Emery (2005) (2002),nos Estados Unidos esta questo ficou clara na passagem de uma economia industrial para uma economia de servio. Com o susto dos anos 80dado pelos japoneses, as corporaes americanas resolveram interferir decididamente e configurar uma a- genda educacional que conseguisse dar cobertura aos problemas que apareceriam nesta passa-
8 Pases emergentes. 8
gem. Em uma economia industrial era suficiente orientar os estudantes das classes trabalhadoras para os vocacionais e orientar a classe mdia para as faculdades (os colleges americanos). Mas, em uma economia baseada em servios, a agenda educacional tinha que mudar, pois seria neces- srio aumentar o nmero de trabalhadores formados nas faculdades, j que era necessria uma maior base de trabalhadores com um pouco mais de conhecimento para determinados ramos da economia de servios. Na realidade, ainda segundo Emery, este esquema (vocacional/colleges) foi trocado por outro (colleges/evaso), ou seja, aumentar o nmero de graduados nas faculdades (colleges) e aumentar a evaso escolar. De fato, Madaus e outros (Madaus, Russell, & Higgins, 2009, p. 158) relatam estudos que mostram o aumento de evaso escolar em associao com a utilizao de testes de alto impacto ao longo das ltimas dcadas nos Estados Unidos, incluindo um estudo realizado no Texas em 2008 que mostra que,anualmente,mais de 135.000 jovens abandonam escolas que usam este tipo de teste, naquele estado. As novas tecnologias necessitam de ambas as pontas. Precisam do engenheiro de softwa- re de baixo custo, mas precisam do trabalhador precarizado. Uma atendente do McDonalds no precisa fazer clculossofisticados, pois quanto o cliente deve pagar e qual o troco que deve dar calculado pelas mquinas. As operaes necessrias, portanto so simplificadas. A questo ento salarial: quando maior a base de formandos em Faculdades (colleges) e quanto maior a base de desocupados com baixa qualificao, menor o salrio.Tal como na China, a receita de sucesso constituda por mo de obra farta, barata e sem proteo trabalhista. Este o interesse que norteia as corporaes na proliferao de uma agenda educacional dura, baseada em responsabilizao e meritocracia. Como sabemos, os testes padronizados no medem apenas o conhecimento dos alunos eles medem junto, o nvel socioeconmico e, dessa forma, so um importante instrumento de redirecionamento da fora de trabalho. As notas de corte nos testes significam travas a determinados nveis socioeconmicos, pois a nota est corre- lacionada com o nvel socioeconmico dos alunos. Os testes criam fluxos autorizados no interior do aparato educacional. Uma universidadeque queira selecionar alunos cujas famlias possam financiar, sem ina- dimplncia (e se possvel captando alguma doao), os estudos dos filhos, escolher uma nota de corte que seja coerente com este nvel de ingresso familiar. Uma Universidade pblica escolher uma nota de corte que capte entre os pretendentes um certo nvel cultural que garanta que ela continue entre as melhores. A fixao de uma nota de corte arbitrria e depende de decises subjetivas (Madaus, Russell, & Higgins, 2009, p. 86), portanto, campo aberto viso de mundo daqueles que a constroem ou seja, ideologia que se esconde atrs do aparente cientificismo dos testes. 9
Todo este discurso sobre democratizao da educao que se v no Brasil, justificando o ENEM como o grande instrumento que abre as portas das faculdades tem a ver com estas neces- sidades de transformao na economia agora e a futuro - e contm as mesmas limitaes j examinadas em outros pases. Aqui, a questo no ser contra a ampliao da educao para a classe mdia e para os trabalhadores, mas sim de se ter clareza do por que destes movimentos e, no interior desta con- tradio, tirar proveito dela em funo dos interesses da maioria da populao e no deixa-los restritos aos interesses imediatistas das corporaes.Entretanto, se no podemos esquecer da contradio, tambm no podemos achar que seu desenvolvimento ser automtico. Olhar este processo na tica dos trabalhadores s ser possvel se entendermos os mecanismos ideolgicos que tais aes esto servindo, de forma a poder questiona-los. E isso que se espera do governo Dilma. Mas ainda h que se considerar um subproduto deste movimento maior de condiciona- mento da educao lgica das corporaes e suas necessidades estratgicas de mo-de-obra. Nestes processos, um conjunto de aliados mobilizado. Um destes grupos o dos empresrios das indstrias educacionais nascentes. Scher and Burchard(2009) a partir de uma srie de reportagens sobre a era Bush e a im- plantao do No Child Left Behind (Mandevilla, 2007) afirmam: O casamento do grande negcio com a educao beneficia no s os interesses do Busi- ness Roundtable, um consrcio de mais de 300 CEOs, mas a muitas figuras leais famlia Bush. Sandy Kress, arquiteto-chefe do No Child Left Behind - NCLB; Harold McGraw III, e- ditor de livro, Bill Bennett, secretrio de educao ex-Reagan, e Neil Bush, irmo mais no- vo do presidente, todos lucraram com o sucesso nacional do Roundtable na implementa- o do "ensino baseado em resultados." O NCLB impe um sistema de padres estaduais, testes e sanes para a escola que juntos transformaram o nosso sistema de ensino p- blico em um frenesi lucrativo (p. 1).
A indstria da avaliao, da tutoria, da logstica de aplicao de testes, das editoras, entre outras, compe um conglomerado de interesses que so responsveis por formar opinio e orien- tar polticas pblicas a partir de Movimentos, ONGs, institutos privados, indstrias educacionais, mdia e outros agentes com farto financiamento das corporaes empresariais (por exemplo: (Gall & Guedes, s/d). 9 A estes, somam-se os interesses eleitorais dos polticos em postos de comandos em municpios e estados, desejosos de apresentar resultados na esfera educacional e que so presas fceis de propostas milagrosas alguns de boa f, outros nem tanto. O PNE proposto pelo governo contempla amplamente nos itens 3.2; 5.3; 5.4; 6.4;7.6; 7,7; 8.1; 10.5 a indstria educacional da tutoria, avaliao e assessoria.
9 Ver tambm o livro de Burch (2009) 10
A brecha para a atuao de ONGs, organizaes sociais, institutos e outros, ser dada ain- da pela implementao de organizaes sociais pblicas no estatais de direito privado. Ao criar uma distino entre pblico e pblico no estatal, diferenciando ambas da noo de priva- do, criou-se um esfera jurdica e ideolgica confortvel para que os partidos polticos, mesmo que de esquerda, uma vez no poder, defendam posies privatistas disfaradas de pblicas no estatais. Esta batalha j est acontecendo h algum tempo nos municpios no campo da educao infantil e vai atingir outros nveis de ensino. Neste caso o favorecimento se d pela ausncia de impedimento. que questo de tempo para que isso se estenda ao ensino fundamental.
Testes, standards e a questo da boa educao As questes anteriores colocam os testes padronizados no centro do debate. Organiza- es sociais so controladas por contratos de gesto baseados na aferio de resultados edu- cacionais. E so os testes que informam os resultados que motivaro ou no a prorrogao dos contratos. Prefeitos e governadores responsabilizados dependem de demonstrar o avano da aprendizagem de seus alunos, o que feito atravs de testes. Os testes, por outro lado, demandam uma complexa cadeia tecnolgica que estados e municpios no tm como dominar, o que abre espao para o crescimento da indstria da avalia- o e da tutoria. Se para as corporaes interessa o recurso fixao de standards como forma de triar a fora de trabalho e monitorar os fluxos de qualificao de mo de obra, alm do bvio controle ideolgico da educao, para a indstria educacional os objetivos so mais imediatos e referem-se converso da educao em mais espao mercadolgico. Estas foras, hoje falam, no Brasil, atravs do Movimento Todos pela Educao e atravs de uma gama de ONGs, Institutos e Organizaes Sociais sem fins lucrativos. A estas cabe criar as condies polticas e ideolgicas de implementao de prticas que demandem a cadeia tecnol- gica que garantam os objetivos desta coaliso de interesses alguns bem intencionados, outros nem tanto. Os testes tm seu lugar no mundo educacional como uma ferramenta de pesquisa. O gra- ve problema que eles foram sequestrados pelo mercado e pelo mundo dos negcios e nele, as suas naturais limitaes so ignoradas. Como vimos anteriormente, os testes associam sua fun- o de medir, o papel de controle ideolgico dos objetivos da educao mais pelo que excluem do que pelo que incluem e tm o objetivo de controlar os atores envolvidos no processo educa- tivo. Sem testes, no h responsabilizao e meritocracia teses fundamentais do mercado. 11
Testes supem a definio prvia de standards ou padres. O entendimento do que se- jam os padres diferente entre os educadores profissionais e os proponentes de testes para a responsabilizao. Os educadores entendem por padres um esforo para desenhar o ensino e a aprendizagem no qual os estudantes se envolvero no domnio de conceitos de alto nvel. Para os psicometristas que elaboram testesna tica da responsabilizao, o importante estabelecer o que a criana far em um determinado nvel de ensino, de uma maneira que possa ser medido na forma de desempenho, de uma competncia. Este ltimo entendimento, como assinalam Jones e outros, aponta para a medio de habilidades bsicas e no para o desenvolvimento conceitual de alto nvel (Jones, Jones, & Hargrove, 2003, p. 25). A funo da introduo dos standards e dos testes padronizados baseados nelesest bem estabelecida por Emery(2005): Um dos efeitos dos testes de alto impacto que estou segura que agradou os CEOs 10 , que o debate histrico pblico sobre quais deveriam ser os objetivos da educao (...), foi eliminado. Em seu lugar, o aumento das pontuaes nos testes tornou-se um fim em si mesmo... (p. 3).
No sem razo que, seguindo a linha de aparelhar a educao a partir dos interesses corporativos empresariais, a OCDE Organizao para a Cooperao e o Desenvolvimento Eco- nmico - tenha ficado com a tarefa de avaliar a educao no mundo a partir de padres que ela desenvolveu na forma de habilidades medidas em um teste padronizado chamado PISA, em por- tugus, Programa Internacional de Avaliao de Estudantes 11 . Os interesses de uma entidade como a OCDE esto claros na prpria apresentao do PISA 2010 onde se pode ler: A educao o investimento mais crtico para aumentar o potencial de crescimento a longo prazo dos pases. Na economia global, o desempenho dos sistemas de educao a chave para o sucesso, especialmente luz dos desafios fundamentais tecnolgicos e de- mogrficos que esto remodelando nossa economia (OCDE, 2010).
Podemos entender que essa preocupao faa parte dos objetivos educacionais, mas no podemos concordar em reduzir a educao a estas necessidades corporativas e nem delegar a elas a avaliao da qualidade da educao das naes. A partir de um parmetro prprio, a OCDE coloca todos os Ministrios da Educao na perspectiva de um alinhamento da qualidade de sua educao a estes parmetros que orientam o PISA.
10 . O termo uma abreviatura de Chief Executive Officer (CEO). 11 O PISA um programa internacional de avaliao comparada, cuja principal finalidade produzir indicadores sobre a efetividade dos sistemas educacionais, avaliando o desempenho de alunos na faixa dos 15 anos, idade em que se pres- supe o trmino da escolaridade bsica obrigatria na maioria dos pases. As avaliaes do PISA incluem cadernos de prova e questionrios e acontecem a cada trs anos, com nfases distintas em trs reas: Leitura, Matemtica e Cin- cias. 12
A OCDE herdeira do Plano Marshall que visou abrir mercado para as empresas america- nas na reconstruo da Europa, aps a segunda guerra mundial. Foi por ele que se constituram grandes multinacionais americanas em uma Europa destruda. Quem melhor poderia representar os interesses das corporaes transnacionais seno a prpria OCDE? Quem definiu que os objeti- vos da educao no mundo so aqueles que atendem aos interesses das corporaes representa- das pela OCDE? Os governos se submetem passivamente formulao dos objetivos educacionais desta agncia, medidos pelos seus prprios instrumentos. O sublime desejo dos governantes de hoje sair-se bem no PISA. Isso explica porque podemos ler no PNE do governo Dilma o seguinte: 7.25) Confrontar os resultados obtidos no IDEB com a mdia dos resultados em matem- tica, leitura e cincias obtidos nas provas do Programa Internacional de Avaliao de Alu- nos - PISA, como forma de controle externo da convergncia entre os processos de avalia- o do ensino conduzidos pelo INEP e processos de avaliao do ensino internacional- mente reconhecidos ...(Brasil, 2010).
Ou seja, atrela-se o IDEB a padres internacionais fixados pela OCDE. A definio dos objetivos educacionais, portanto, est sendo feita de fora para dentro, por cima das especificidades culturais locais e acima de um projeto nacional para a sua juventude. Assume-se que o que valorizado pelo PISA bom para todos j que o bsico. Mas, o que no est sendo dito que a focalizao no bsico restringe o currculo de formao da juventude e deixa muita coisa relevante de fora, exatamente, o que se poderia chamar de boa educao. O argumento para justificar a limitao ao bsico que os outros aspectos mais comple- xos dependem de se saber o bsico, primeiro. Um argumento muito conhecido no mbito do sis- tema capitalista e que significa postergar para algum futuro no prximo a real formao da ju- ventude, retirando dela elementos de anlise crtica da realidade e substituindo-se por um co- nhecimento bsico, um corpo de habilidades bsicas de vida, suficiente para atender aos interes- ses das corporaes e limitado a algumas reas de aprendizagem restritas (usualmente leitura, matemtica e cincias). A consequncia o estreitamento curricular focado nas disciplinas testa- das e o esquecimento das demais reas de formao do jovem, em nome de uma promessa futu- ra: domine o bsico e, no futuro, voc poder avanar para outros patamares de formao. Todos sabemos que a juventude mais pobre depende fundamentalmente da escola para aprender e se limitada a sua passagem pela escola s habilidades bsicas, nisso se resumir sua formao(Saviani, 1986). A argumentao de que o bsico bom porque tem que vir em primeiro lugar tautolgi- ca e nos leva a acreditar que o bsico bom porque bsico. O efeito que, a partir deste este- retipo, no pensamos mais. Com esta lgica de senso comum, so definidos os objetivos da boa educao para todos os povos, via OCDE. Mas o bsico, exclui o que no considerado bsico esta a questo. O problema no o que ele contm como bsico, o que ele exclui sem dizer, 13
pelo fato de ser bsico. Este o estreitamento curricular produzido pelos standards centra- dos em leitura e matemtica. Eles deixam de fora a boa educao que sempre ser mais do que o bsico. Juntamente com este movimento, no mundo acadmico, de onde poderia vir a crtica mais sistemtica, as limitaes apontadas na literatura clssica sobre o uso de testes so cada vez mais subestimadas pela crena no aumento do poder dos modelos matemticos e pelo proces- samento de dados por computadores cada vez mais potentes. verdade que muito se avanou nestas reas, permitindo que tenhamos hoje tcnicas que isolam por um lado e relacionam por outro, fatores que conseguem explicar muito mais a variabilidade dos fenmenos educacionais do que na dcada de 70. Entretanto, nada justifica que as advertncias clssicas sobre o uso de testes sejam desconsideradas. Os modelos matemticos e seus processamentos, no podem eliminar os problemas classicamente apontados para o uso dos testes e medidas e que so propriedade de uma cincia diferente, a psicometria. Nem mesmo o advento de novas teorias de medio como a Teoria da Resposta ao Item significa a soluo para as limitaes clssicas dos testes. At que os dados estejam disponveis para os modelos da TRI, muita deciso j foi tomada anteriormente e muitos procedimentos de coleta de dados foram postos em prtica, e sobre eles a TRI nada tem a dizer. Basicamente, a discusso sobre os limites dos testes tem sua origem na falta de entendi- mento sobre as suas bases: testes no do uma medida direta e completa do desempenho educa- cional de um aluno diz Koretz(2008, p. 9). As duas razes principais so: a) os testes podem me- dir apenas uma parte dos objetivos educacionais e no todos os objetivos educacionais, e b) mesmo aqueles objetivos que so passveis de serem medidos, so apenas pequenas amostras que so usadas para estimar o desempenho de grandes domnios de conhecimentos e habilida- des. A TRI trata exatamente de como fazer esta estimao a partir de pequenas amostras, u- sando tcnicas matemticas de estimao da proficincia do aluno. Embora estes processos este- jam, hoje, muito mais sensveis do que quanto tnhamos apenas a teoria clssica de medio, o fato que este aumento de qualidade preditiva est sempre associado com a outra limitao inerente aos testes: eles no medem todos os objetivos educacionais.Seus resultados no podem ser considerados, portanto, sinnimo de boa educao, em sentido geral. O encantamento com as novas teorias de medicao tem deixado de lado importantes discusses no mbito educativo. Uma delas o fato de que estas tcnicas medem competncias e habilidades e no o conhecimento, o contedo escolar, diretamente. Isso , aparentemente, uma vantagem, pois os sistemas escolares diferem quanto aos contedos e formas de ensino destes - no somente entre professores, mas entre escolas e redes de ensino. Indagar sobre o contedo, 14
diretamente, implicaria em garantir que eles fossem comparveis entre os avaliados. Mas investi- gando habilidades ou competncias, esta questo fica minimizada, pois os itens dos testes dizem respeito a situaes ante as quais o aluno proficiente mobiliza seu conhecimento para resol- ver. A medida do conhecimento , portanto, indireta. Supe-se que se resolveu a questo, ento, domine o contedo. Mas o que os estudiosos clssicos dos testes alertam exatamente isso: nem todos os ob- jetivos educacionais podem ser medidos na forma de competncias ou habilidades e, se no bas- tasse, apenas uma pequena parte de um domnio muito grande, por exemplo, o conhecimento que o aluno adquiriu durante o quarto ano do ensino fundamental, pode ser medido por questes de tempo e de custo. A primeira reduo feita quando nos concentramos em uma ou duas dis- ciplinas (geralmente portugus e matemtica) e depois, uma segunda reduo aplicada quando escolhemos dentro do conhecimento de portugus quais competncias e habilidades devem ser submetidas a testes. As pontuaes nos testes refletem uma pequena amostra do comporta- mento e somente so vlidas na medida em que comportem concluses sobre o domnio maior de interesse (Koretz, 2008, p. 21) grifos meus. Todo este processo inicial, no tem nada a ver com a qualidade e poder da TRI, mas sim com decises tipicamente educacionais que so tomadas por equipes de assessorias junto ao poder pblico. Estas escolhas so inevitavelmente feitas segundo as matrizes tericas assumidas por estas equipes, do ponto de vista de sua concepo de educao, de suas opes epistemol- gicas, psicolgicas, sociolgicas e filosficas. Mas nada de tais opes revelado ou registrado. O produto resumido secamente em um instrumento tcnico chamado matrizes de referncia. Estas matrizes servem para que se produzam os itens que comporo a avaliao do aluno. As estratgias previstas para a meta 2 (universalizar a educao fundamental de nove a- nos) inclui, na 2.12, definir at dezembro de 2012 expectativas de aprendizagem para todos os anos do ensino fundamental. Combinado com o item 7.4 da meta 7, tem-se que o foco da avalia- o sero habilidades em leitura, matemtica e cincias. O estreitamento curricular que isso pro- duziu em outros pases, ocorrer aqui. Todas as demais disciplinas passam a ser acessrias. Emerge desta prtica emprica e pragmtica uma formulao de que boa educao se refere a ter uma matriz de referncia e a partir dela elaborar itens para um teste. E, com isso, decreta-se que no mais necessrio discutirmos o que entendemos por ser uma boa educao. Cria-se uma identidade entre boa educao, competncias e habilidades da matriz. O tom de- mocrtico de sua elaborao dado pelo fato dela ser pblica e poder ser consultada usual- mente no site do responsvel pela realizao do exame. Em alguns casos, convidam-se os profes- sores da rede avaliada para que participem da elaborao destas matrizes ou ainda ficam dispon- veis para consulta pblica durante sua fase de elaborao. Novamente, a questo no o que 15
as matrizes incluem, mas o que elas excluem, seja pelo vis das opes de seus formuladores, seja pelas dificuldades tcnicas ou de custo para medir. Como indaga Zhao (2011): verdade que "a qualidade do nosso ensino [USA] de matemtica e cincia est atrs de outras naes?"Depende diz ele - de como se mede a qualidade. Se medida em termos de resultados de testes em avaliaes internacionais, sim, mas esses resultados de testes no indicam necessariamente a qualidade do ensino de matemtica e cincias e, certa- mente, no preveem a prosperidade econmica de uma nao ou a sua capacidade de i- novao.
No outra a posio de Ravitch (Ravitch, 2011): Estas "reformas" no so susceptveis de melhorar a educao dos EUA. (...) Ao enfatizar os testes de conhecimentos bsicos, este programa garante que os estudantes tero me- nos tempo para a cincia, a histria, as artes ou de lnguas estrangeiras e, portanto, ser menos provvel a obteno de uma educao que estimule a inovao, a criatividade e a imaginao.
Testes so parciais e imprecisos(Koretz, 2008). Os modelos de estimao de proficincia trabalham com margens de erro. Portanto, eles so importantes ferramentas de pesquisa, mas s isso. No se deve associar a vida das pessoas a ferramentas imprecisas. uma questo tica e no tcnica.Matrizes de referncia no so necessariamente o espelho da boa educao. Muito mais pelo que excluem do que pelo que incluem. O potencial de dano destes instrumentos amplificado se so associados lgica dos negcios, do mercado (Ravitch, 2011)(Farley, 2009)(Madaus, Russell, & Higgins, 2009)(Taubman, 2009)(Ravitch, 2010). A utilizao dos testes de alto impacto no vai parar ao nvel do ensino fundamental, e vai chegar educao infantil. O PNE do governo Dilma j estabelece que: 5.2) Aplicar exame peri- dico especfico para aferir a alfabetizao das crianas (Brasil, 2010) para garantir a alfabetizao aos 8 anos de idade. Nossas crianas de oito anos sero submetidas a testes de alfabetizao. Um cdigo de tica deveria proibir tais testes nesta idade, com finalidades de divulgao extra-escolar. J temos a provinha Brasil que um instrumento destinado ao professor. Observando a experincia inter- nacional, podemos dizer que no vai parar nos oito anos, vai descer para o interior da educao infantil. Recente estudo nos Estados Unidos(Miller & Almon, 2009) denuncia esta situao. Diz o estudo: O Jardim de Infncia mudou radicalmente nas ltimas duasdcadas. As crianas j pas- sam muito mais tempo sendoensinadas e testadas em alfabetizao e matemtica do quefazendo a aprendizagem atravs da brincadeira e da explorao, exercitando seus corpos, e utilizando a sua imaginao. Muitosjardins de infncia usam currculos altamen- 16
te prescritivos orientados aos novos padres do estado, ligados a testes padronizados. Emum nmero crescente de creches, os professores devemseguir scripts do qual no po- demse afastar. Estasprticas, que no esto bem fundamentadas em pesquisas,violam os princpios de longa data estabelecidos sobre o desenvolvimento da crianae o bom ensi- no. cada vez mais claro que eles estotanto comprometendo a sade das crianas, como suas perspectivas de longo prazode sucesso na escola (p. 1).
Responsabilizao, meritocracia e privatizao da educao Para Kane e Staiger (2002), um sistema de responsabilizao 12 inclui trs elementos: me- dio do desempenho dos alunos; relatrio pblico do desempenho da escola, e recompensas ou sanes baseadas em alguma medida de desempenho ou de melhora do desempenho (p. 92).Os processos de responsabilizao so bem amplos e em especial suas consequnciasatingem todos os nveis da administrao, ou seja: a) a administrao do sistema educacional, enquanto adminis- trao local;b) as escolas, na figura dos diretores; e c) a sala de aula, na figura do professor e do aluno. Em sua forma mais desenvolvida, isso significa que uma autoridade escolhe e indica um Secretrio de Educao a partir do mercado de executivos disponveis na rea de negcios ou no campo da administrao no necessariamente educadores -, o qual indica, com igual critrio, os diretores das escolas. Os diretores, por sua vez, tm liberdade para contratar ou demitir seus professores. Tudo isso orientado por metas e avaliado por testes realizados pelos alunos. Em Washington, a cruzada educacional da Secretria da Educao Michelle Rhee demitiu 500 professores e mais de 60 diretores indiscriminadamente, fechou 23 escolas e implantou sis- temas de pagamento de professores em base ao desempenho dos alunos medidos em testes. Para criar as condies de gerenciamento desta cadeia de responsabilizao os resulta- dosde desempenho so associados a bnus individuais ou coletivos, bem comoa punies em caso de no cumprimento das metas. Os administradores e demais profissionais envolvidos que cumprem suas metas, incluindo o Secretrio de Educao, recebem bnus. Os que no cumprem metas podem ser demitidos, receber bnus diferenciados, ou simplesmente so privados de b- nus. As escolas que falham podem ser privatizadas passando a ser administradas por organizaes privadas sob contrato com ou sem fins lucrativos. Um estudo conduzido por Baker e Ferris, (2011) revela que os oramentos das escolas pri- vatizadas sob contrato (charters schools) variam e que as mais bem dotadas da cidade de New York recebem fundos privados (doaes) adicionais superiores a 10.000 dlares por aluno a mais do que recebem as escolas pblicas tradicionais e at mesmo outras charters. Seria de se supor
12 Accountability em ingls. 17
que tivessem uma educao com qualidade muito superior s escolas pblicas, entretanto os autores concluem que elas no tm. O caso de New York ilustra porque se deseja a privatizao da educao. No s transformar a educao em um negcio para obter recursos pblicos. De fato, os homens de negcio tambm esto de olho na complementao privada que chega via doaes das fundaes. Portanto, temos que olhar para o conjunto da proposta e no apenas para uma ou outra tcnica de medio ou controle. Responsabilizao e privatizao caminham juntas. No uma questo meramente acadmica ou tcnica de aprimoramento de formas de medio ou clculo de valor agregado. H uma ideologia, uma concepo de como se organizar e promover a educa- o pblica. A meritocracia o ingrediente bsico deste processo, pelo qual se pretende legitimar pe- rante a opinio pblica as aes de controle dos profissionais da educao, a forma de gesto, e a prpria privatizao das escolas.Este processo legitima vrios interesses sob o manto da objetivi- dade cientificas das avaliaes. Como j vimos, aqui se juntam os objetivos dos polticos interes- sados em apresentar resultados aos seus eleitores, com os objetivos das corporaes empresari- ais interessadas em garantir o controle ideolgico da educao, e com os interesses da indstria educacional que fatura com a implementao destas estratgias. Taubman (2009) afirma que nos Estados Unidos: O crescimento das organizaes educacionais nos ltimos 20 anos acompanhou a aber- tura do mercado educacional ao capital. Estas organizaes frequentemente tm conse- lhos administrativos interligados, so financiadas pelos menos apoiadores, e produzem re- latrios cuja linguagem e ideias so quase intercambiveis (p. 68).
A meritocracia rene os instrumentos para promoo de ranqueamento ou ordenamento de alunos, escolas ou profissionais da educao com a finalidade de definir recompensas para professores ou para a equipe da escola (salariais) ou punies (demisso ou perda de salrio adi- cional). Fortemente ancorada em processos matemticos e estatsticos de estimao, princi- palmente usada como ferramenta para estimar metas a serem cumpridas pelas escolas e pelos profissionais. Os resultados dos processos de avaliao so assumidos como vlidos para definir o pagamento por mrito, entendido este como a recompensa por um esforo que levou a conseguir que o aluno aprendesse, atingindo uma meta esperada ou indo alm dela. Na seo precedente, j examinamos os problemas com a medio dos alunos por testes. Aqui, portanto, nos concentraremos na questo do uso dos resultados dos testes para efeitos de associar consequncias de alto impacto. Em primeiro lugar, cabe lembrar de onde vem esta ideia de que o comportamento huma- no passvel de ser controlado pelas suas consequncias. Alm de ter origem no prprio senso 18
comum, ela foi sistematizada em laboratrio nos anos de 1960 pela psicologia comportamentalis- ta. Todos os que temos alguns anos de atuao no campo da educao nos lembramos das teses do behaviorismo, na figura proeminente de B. F. Skinner. Skinner (1967) props que a maior parte do comportamento humano se enquadra em uma categoria chamada comportamento operan- te que tem sua frequncia incrementada, mantida ou extinta a partir das consequncias que a ele so associadas. A meritocracia e a responsabilizao so herdeiras desta concepo de controle do com- portamento humano, podendo-se agregar que deveriam ter estudado melhor Skinner, pois dei- xam de lado aspectos relevantes para os quais ele alertou. Um destes aspectos so os subprodutos do controle: fuga o indivduo pode simplesmen- te fugir do controlador -; revolta o indivduo pode contra controlar o agente controlador; resis- tncia passiva consiste em simplesmente no se comportar de conformidade com os procedi- mentos dos controladores (p. 202-204). H ainda subprodutos emocionais do controle: medo, ansiedade, ira e raiva, depresso (p. 204-205). H outras lies importantes no behaviorismo: o controle aversivo (demisses, presso de grupo, etc.) uma vez instalado precisa ser mantido constante ou em esquemas intermitentes, sob pena de que se perca o medo do controle se ele for interrompido. Em caso de interrupo, cor- re-se o risco de se voltar a prticas anteriores implantao do medo. Entretanto, a sua manu- teno permanente, combina-se com os outros efeitos apontados antes, podendo levar revolta e resistncia passiva. 13 Donde se deduz que o controle aversivo no uma boa alternativa. Por outro caminho, Campbell(1976) faz um alerta que considero igualmente relevante e que, de certa forma, comprovam as constataes de Skinner: Quanto mais um indicador social quantitativo utilizado para fins sociais de tomada de deciso, mais sujeito ele estar presso de corrupo e mais apto ele estar a distorcer e corromper os processos sociais que se pretende monitorar (p. 49).
Note-se que este no um problema meramente tcnico, mas perceptivo. Trata-se da in- terao entre os sujeitos e as consequncias dos indicadores no importando quais sejam os mtodos de elaborao de tais indicadores.No se trata de refinamento metodolgico. Trata-se de uma reao psicossocial dos prprios informantes que afeta a construo dos prprios indica- dores. 14 No sem razo que os sistemas meritocrticos esto sempre s voltas com as fraudes(Madaus, Russell, & Higgins, 2009) (Nichols & Berliner, 2007). O sistema escolar de Atlanta, por exemplo, administrado pela legendria Beverly Hall, Se- cretria de Educao, enfrenta dois inquritos (Torres & Vogell, 2010) - um pelo Ministrio Pbli-
13 Vide nas ltimas semanas a situao no Egito. 14 Sobre como este princpio impacta os testes de alto impacto em voga nos Estados Unidos, ver Nichols e Berliner (2007). 19
co Federal americano, e outro por investigadores nomeados pelo governador Sonny Perdue que investigam alegaes de fraude em testes em 58 escolas primrias e secundrias de Atlanta. Be- verly Hall demitiu-se ao final do ano passado.Segundo Tucker (2010) o bnus da Secretria de Educao no ano passado, (...) foi de US $ 78, 115 - em cima de um salrio de 256,216 dlares. Ravitch (2010b) denunciou em New York as discrepncias entre o desempenho dos alunos da cidade de New York e o desempenho dos alunos nos exames nacionais, sugerindo que as auto- ridades locais esto facilitando os exames para que os alunos se saiam bem, garantindo acesso a verbas federais. John Klein, Secretrio da Educao em Nova York deixou o cargo no comeo de 2011. A outra fonte de inspirao para o uso de responsabilizao e meritocracia no campo e- ducacional a lgica dos negcios e de mercado. Pagamento por mrito amplamente usado nas organizaes empresariais: um vendedor de carros pode receber um bnus por atingir uma meta exigente. Um CEO pode ser contratado para atingir uma meta de lucros em uma corporao e, por isto,receber como pagamento um bnus pelos resultados alcanados. Taubman (2009) baseando-se em Lemann (1999) afirma que a meritocracia uma men- tira - dinheiro e raa anulam qualquer efeito salutar de tais testes" (p. 28). A afirmao no est longe da verdade j que o nvel socioeconmico dos alunos a varivel que mais se correlaciona com suas notas e at 50% de sua variabilidade pode ser explicada por fatores relativos sua co- munidade e famlia (Waiselfisz, 2010). Se considerarmos que raa e dinheiro so espelhos do nvel socioeconmico, uma variao nestes fatores pode impactar positiva ou negativamente o rendi- mento do aluno, anulando ou produzindo efeitos. A associao dos testes com a ideologia da responsabilizao e da meritocracia coloca-os como uma ferramenta de punio ou recompensa e confunde sua funo central de diagnstico da aprendizagem do aluno e da ao do professor.Isso potencializa as imprecises tpicas de quaisquer testes, pois seus resultados so agora usados para interferir com a vida das pessoas este o sentido do termo high-stakes tests - testes de alto impacto em contraposio a low- stakes tests testes de baixo impacto, de carter diagnstico e de monitoramento de tendn- cias. Quando associamos consequncias fortes aos resultados de medidas, estamos associan- do-as tambm aos erros que esto relacionados a estes medidas. Eles podem ser intrnsecos medida(Koretz, 2008) ou produzidos no ato da aplicao ou processamento por impercia ou fraude(Farley, 2009). No existe medida exata em fenmenos sociais complexos como a educao(Campbell, 1976). H sempre um erro. Se tais erros no tm associao com premiao ou castigo, eles no so transferidos para a vida das pessoas. So, portanto, parte natural da me- dida que, ao revelar uma tendncia, permite examinar a poltica pblica. 20
Madaus, Russell and Higgins (2009) afirmam que: Desde que todos os testes contm algum grau de erro, falsos positivos e falsos negativos vo sempre ocorrer quando notas de corte so usadas para classificar estudantes em gru- pos discretos. (...) Al Beaton, um renomado psicometrista, mostrou que o problema da classificao errada aumenta medida que um teste torna-se menos confivel. Para um teste em que se tenta colocar os estudantes dentro de quatro nveis de performance, 19% dos estudantes so mal classificados se a confiabilidade do teste .95 um grau de confi- abilidade muito alto. As classificaes erradas aumentam para 29% quando a confiabili- dade .90 a confiabilidade usada em muitos testes estatais. Para uma confiabilidade de .80, 38% dos estudantes so mal classificados (...) (p. 87).
Ante estes problemas, qual a preocupao do PNE com o ENEM? Que ele tenha tcnicas que permitam comparabilidade dos resultados do exame enfatiza-se isso porque como ele ter vrias edies ao ano, elas tm que ser comparveis. Esta uma questo tcnica j equacionada dentro da TRI, conhecida como equalizao: colocao de itens comuns s vrias provas. Mas o problema mais grave de todas as avaliaes que o INEP usa, menos a provinha Brasil pois no tem consequncias duras associadas a ela, a validade dos testes e no a comparabilidade. H vrios- tipos de validade a serem calculadas e como vimos acima, elasafetam a probabilidade de falsos positivos e negativos. Todos os testes do INEP precisam revelar seus clculos de validade e as probabilidades de falso positivo e negativo. um direito do consumidor. No Brasil, a proposta que mais incorpora a utilizao dos conceitos de responsabilizao, meritocracia e privatizao da educao foi formulada pela ONG Parceiros da Educao (2010) uma cpia da poltica educacional americana nos ltimos dez anos. Para os seus proponentes necessrio criar uma lei de responsabilidade educacional 15 com a finalidade de: Ao prestarem contas ao Ministrio da Educao (MEC) sobre o uso das verbas federais as secretarias passariam a ser punidas nos casos em que se flagrar o mau uso do dinheiro. Caberia ao ministrio, antes de fazer o repasse, estabelecer um conjunto de metas bas- tante claras sobre a aplicao dos recursos, por estado e municpio. A ideia combater desvios de toda ordem, como merendas jamais servidas e licitaes fraudulentas - moda- lidades de corrupo to comuns no Brasil. A mesma lei poderia incluir um prmio em dinheiro s secretarias, contemplando os re- sultados escolares: os estados e municpios que apresentassem progressos em sala de au- la ganhariam mais verbas. Cobrar, premiar e punir com base no desempenho, seja ele fi- nanceiro, seja ele acadmico, um avano notvel (grifos meus).
Examinando-se o texto acima veiculado pela Veja (2010), nota-se que a primeira parte mistura-se com punies para desvios de verba. De fato, a inteno dos proponentes e mimetizar- se no debate da corrupo para propor o que interessa: prmios e castigos para os sistemas edu- cacionais, baseado em medio do desempenho dos alunos em testes.
15 Nos Estados Unidos a lei se chama No Child Left Behind e de 2001. 21
Eis que o PNE prope na meta 7, na estratgia 7.3 associar a prestao de assistncia tcnica e financeira fixao de metas intermedirias, nos termos e nas condies estabelecidas conforme pactuao voluntria entre os entes, priorizando sistemas e redes de ensino com IDEB abaixo da mdia nacional. Esta proposta parte do princpio de que possvel usar os testes dos alunos para medir o desempenho do professor e de outros profissionais da educao. Este, entretanto, um pressu- posto controverso, j que o aluno no est sujeito apenas influncia do professor. O balano mais recente e profundo da aplicao da concepo de responsabilizao, me- ritocracia e privatizao tal como proposto pela ONG Parceiros da Educao, nos Estados Unidos, pas de maior tradio no campo, o recente livro de Diane Ravitch (2010) 16 chamado Morte e vida do grande sistema escolar americano. Na Inglaterra somente agora, com a volta dos conser- vadores ao poder, que se retoma fortemente este processo (Vasagar, 2011)(Shepherd, 2011). Ravitch vai listando ao longo de seu livro situaes inmeras de falcias produzidas pelas polticas de meritocracia e responsabilizao e as rene em um captulo final do livro cujo ttulo sugestivo : Lies Aprendidas (pp. 224 242): pouco provvel que as polticas que ns estamos seguindo hoje melhorem nossas escolas. Ao contrrio, muito do que os formuladores de poltica demandam hoje mui- to provavelmente tornaro as escolas menos eficazes e podem futuramente rebaixar a capacidade intelectual de nossos cidados. Os fundamentos da boa educao so encontrados na sala de aula, em casa, na co- munidade e na cultura, mas os reformadores de nosso tempo continuam a procurar por atalhos e respostas rpidas. Nossos problemas educacionais so funo de nossa falta de viso educacional, no um problema de gesto que requer o recrutamento de uma armada de consultores de negcios . Nossas escolas no vo melhorar se funcionrios indicados se intrometem no territ- rio pedaggico e tomam decises que apropriadamente deveriam ser tomadas por educadores profissionais. O Congresso e legisladores estaduais no deveriam dizer a professores como ensinar, mais do que eles dizem aos mdicos sobre como realizar uma operao. Nossas escolas no melhoraro se ns continuarmos a focar somente o ensino de ma- temtica e leitura enquanto ignoramos os outros estudos que so elementos essenci- ais da boa educao. Nossas escolas no melhoraro se ns focarmos exclusivamente nos testes para como meio para decidir o destino de estudantes, professores, diretores e escolas. Nossas escolas no melhoraro se ns continuarmos a fechar escolas nas comunida- des em nome da reforma. Nossas escolas no melhoraro se ns as introduzirmos no mgico mundo do merca- do. Mercados tm ganhadores e perdedores .
16 Diane Ravitch, foi Subsecretria da educao de Bush e abandonou a abordagem da responsabilizao e meritocracia depois de vivenciar as consequncias desta poltica, que ela ajudou a implementar nos Estados Unidos. Hoje uma das maiores ativistas contra este tipo de enfoque para a educao. 22
Nossas escolas no melhoraro se as escolas charter continuarem a sugar das escolas pblicas regulares os alunos mais motivados e suas famlias nas comunidades mais pobres. Nossas escolas no melhoraro se esperamos delas que atuem como empresas priva- das, lucrativas. Escolas no so negcios, elas so um bem pblico. O objetivo da edu- cao no produzir altas pontuaes, mas educar as crianas para serem pessoas responsveis com pensamento bem desenvolvido e bom carter. No se deve esperar que as escolas produzam lucro na forma de pontuaes de valor agregado. Nossas escolas no vo melhorar se ns a usarmos para todo e qualquer propsito (...) As escolas devem trabalhar com outras instituies e no substitu-las. Se nos queremos melhorar a educao, ns antes de tudo temos que ter uma viso do que uma boa educao. O objetivo da avaliao no identificar escolas que devem ser fechadas, mas identi- ficar escolas que precisam de ajuda. O mercado no o mecanismo correto para (...) fornecer educao pblica.
Complementarmente, relatrios de pesquisadores independentes tm mostrado a inade- quao de se usar medidas baseadas em testes de alunos para estabelecer incentivos ou punies para profissionais da educao individualmente ou em grupo, com base em um ano de medio ou em mais de um. Recente relatrio feito por um conjunto de dez pesquisadores (Baker, 2010) aponta estes problemas: Por essas e outras razes, a comunidade cientfica tem alertado contra a forte depen- dncia dos resultados dos testes, mesmo quando mtodos sofisticados de valor agregado (VAM) so utilizados, para decises de alto impacto como remunerao, avaliao ou es- tabilidade. Por exemplo, o Board on Testing and Assessment of the National Research Council of the National Academy of Sciences afirma: ... estimativas da eficcia de profes- sores baseadas em mtodos de valor agregado (VAM) no devem ser usadas para tomar decises operacionais, pois essas estimativas so muito instveis para serem consideradas justas ou de confiana. Uma reviso da pesquisa baseada em valor agregado da poltica do Educational Testing Service concluiu que os mtodos de valor agregado no devem servir como base nica ou principal para a tomada de decises sobre os professores. H muitas armadilhas para fazer atribuies causais da eficcia do professor com base nos ti- pos de dados tipicamente disponveis nos distritos escolares. Ainda nos falta um conheci- mento adequado da seriedade com que os diferentes problemas ameaam a validade de tais interpretaes. E os pesquisadores da RAND Corporation informam que: as estimati- vas baseadas na modelagem de desempenho VAM so frequentemente muito imprecisas para apoiar algumas das inferncias desejadas ... e que a base da investigao insufici- ente para suportar o uso de VAM para as decises de alto impacto sobre os professores individualmente ou sobre as escolas (p. 2-3). E concluem: Alm das preocupaes sobre a metodologia estatstica, outras consideraes de ordem prtica e poltica pesam contra uma forte dependncia das notas dos alunos para avaliar os professores. A pesquisa mostra que a nfase excessiva em matemtica bsica e leitura pode levar ao estreitamento e reduzir o currculo apenas aos temas e formatos que so testados, tirando a ateno da histria da cincia, das artes, cidadania e lngua estrangei- ra, bem como da escrita, da investigao, e de tarefas mais complexas de soluo de pro- blemas. A subordinao da avaliao de professores e sanes aos resultados da pontua- 23
o de testes pode desencorajar os professores que querem trabalhar em escolas com a- lunos mais necessitados, enquanto a variao grande e imprevisvel nos resultados e sua injustia percebida podem minar o moral do professor. Pesquisas tm encontrado que o desgaste e a desmoralizao dos professores tm sido associados aos esforos de respon- sabilizao baseados em testes, principalmente em escolas de alto risco. Adotando um sistema de avaliao de professores invlido e amarrando-a a recompensas e sanes provvel que isso conduza a decises pessoais imprecisas e desmoralizao dos profes- sores, fazendo com que professores talentosos evitem estudantes e escolas de alto risco, ou deixem a profisso e desencorajem professores potencialmente eficazes de entrar ne- la. As Assembleias Legislativas no devem impor uma abordagem de avaliao de profes- sores baseada em testes, a qual no est comprovada e susceptvel de prejudicar no apenas os professores, mas tambm as crianas que instruem (p. 4).
No bastassem estudos de pesquisadores independentes, o prprio Departamento de Educao americano divulgou em julho de 2010 um informe intitulado Proporo de erros na mensurao do desempenho do professor e da escola baseados em ganhos do estudante em pon- tuaes de teste (Schochet & Chiang, 2010). O resumo do relatrio diz: Os resultados da simulao sugerem que as estimativas de valor agregado so suscept- veis de interferncias com a quantidade de dados que so normalmente utilizados na pr- tica. As taxas de erro tipo I e II ao comparar o desempenho de um professor com a mdia provvel que sejam de cerca de 25 por cento, com trs anos de dados e 35 por cento com um ano de dados. Correspondentementeas taxas de erro global de falsos positivos e negativos so de 10 a 20 por cento, respectivamente. Taxas menores de erro podemser alcanadas se as escolas so a unidade de desempenho. Os resultados sugerem que os formuladores de poltica devem considerar cuidadosamente a probabilidade das taxas de erro do sistema quando fizerem uso de estimativas de valor agregado para tomada de de- cises de alto impacto sobre educadores.
Para finalizar, h ainda os resultados de um workshop da National Academy of Sciences nos Estados Unidos (Braun, Chudowsky, & Koenig, 2010). Ante questo: Existe um mtodo de valor agregado que seja o mais adequado? os participantes concluem que: H muitos tipos diferentes de modelos de valor agregado, e at agora, no h nenhum mtodo dominante. No existe uma abordagem de valor agregado (ou qualquer outro in- dicador baseado em testes, nesta matria) que resolva todos os desafios de identificar professores e escolas eficazes ou ineficazes (p. 57).
Como concluso final afirmam que: Em suma, a maioria dos participantes do workshop foi bastante positiva sobre a utilidade potencial dos modelos de valor agregado para fins de decises de baixo impacto (low- stakes), mas muito mais cautelosa quanto ao seu uso para decises de alto impacto (high- stakes) (p. 66).
Neste ponto, temos que introduzir uma questo tica. 24
Com este estado da arte, como podemos fazer uso de tais mtodos para tomar decises que afetam a vida de milhares de professores e alunos, mesmo admitindo-se que tais tcnicas esto em desenvolvimento? Para ilustrar esta questo, citamos o recente caso de Los Angeles (Felch, Song, & Smith, 2010). Cerca de 6.000 professores de 470 escolas de Los Angeles foram ranqueados por clculo de valor agregado tomando-se por base dados de seus alunos entre 2004 a 2009. Grupos independentes de pesquisadores usando a mesma base de dados constataram equvocos no ranqueamento divulgado pelo Los Angeles Times que variaram de 13,9% a 22,3%. O estudo (Briggs & Domingue, 2011) mostra que o modelo de valor agregado no tem estabilidade para ranquear os professores de Los Angeles, usando os mesmos dados do Los Angeles Times. A questo tica que estes estudos levantam grave. O novo estudo mostra que em leitu- ra, h 516 professores sub-ranqueados (falso negativo) e 612 professores sobre-ranqueados (falso positivo). Ou seja, 516 deveriam estar em uma melhor posio do que esto no ranking (falso negativo) e 612 esto acima do que deveriam estar de fato (falso positivo). Para matemtica, o estudo mostra que existem 257 falsos negativos e 454 falsos positivos. Para Ravitch (2010a): A ltima reviso sobre avaliao por valor agregado foi escrita pelo economista Sean Corcoran (2010) da Universidade de Nova York. Ele examina as avaliaes por valor agre- gado de Houston e Nova York. Ele descreve margens de erro to grandes que um profes- sor no 43 percentil (na media) poderia na verdade estar no 15 percentil (abaixo da m- dia) ou no 71 percentil (acima da mdia).
Tambm uma recente tentativa da Fundao Bill and Melinda Gates de validar o uso de valor agregado na avaliao de professores foi contestada por Rothstein (2011). No obstante todas estas evidncias, uma recente reportagem no Brasil feita pelo Jornal Valor Econmico (Mximo, 2011) mostra que sua popularidade no Brasil tende a crescer: Remunerao vinculada ao desempenho e ao cumprimento de metas prtica bastante difundida nos setores mais competitivos da iniciativa privada estaro presentes na maioria das escolas estaduais do pas nos prximos quatro anos. O Valor apurou que, nes- te incio de gesto, 15 Secretarias de Estado da Educao tratam como prioridade a elabo- rao, discusso e adoo de mecanismos de meritocracia para professores e outros pro- fissionais do setor que conseguirem melhorar indicadores de qualidade entre eles, re- duo da evaso e maiores notas em avaliaes educacionais feitas por alunos. Medidas nessa direo podem impactar a carreira de mais de 500 mil trabalhadores da educao. A inteno de adotar a meritocracia na educao foi confirmada por Acre, Alagoas, Cear, Esprito Santo, Gois, Mato Grosso do Sul, Par, Paraba, Piau, Rio de Janeiro, Rondnia e Santa Catarina. O governo paranaense ainda no fala em pagamento de bnus por de- sempenho, mas pretende adotar um regime de metas para o magistrio. So Paulo e Per- nambuco, que j aplicam o mecanismo, estudam revisar e aprofundar o modelo, respecti- vamente. Amazonas e Minas Gerais, primeiros Estados a adotar a meritocracia, a partir de 2007, mantero a prtica. Apenas Tocantins no respondeu reportagem. 25
Assim como nas empresas, a adoo de bnus salariais para educadores que se destacam no trabalho e superam metas est associada a avanos de gesto. Praticamente todos os secretrios e secretrias estaduais de Educao ouvidos pelo Valor vo dedicar grande es- foro na gerao e no monitoramento extensivo de estatsticas e informaes e na criao de sistemas de avaliao prprios inclusive com o auxlio de consultorias externas.
Esta questo coloca a necessidade urgente de se desenvolva um cdigo de tica que regu- le a ao dos governos, das indstrias de avaliao e consultoria, entre outros. Coloca ainda a necessidade de que, por um lado, os Tribunais de Contas se atualizem para acompanhar gastos deste tipo, pois se os clculos de valor agregado possuem falsos positivos, caracteriza-se pagamento indevido passvel de ser punido por gesto ineficaz. De outro, ser ne- cessrio atualizar os Sindicatos e o Ministrio Pblico que tero que ser acionados para defender os professores que individualmente ou como equipe escolar - includos nos falsos negativos e que por equvoco de clculo, recebam menos do que deveriam receber. Mas, sobretudo, teremos que contar com uma mobilizao organizada que afaste estas formas de pagamento do nosso magistrio. Pelos estudos aqui reunidos e so apenas uma pequena parte pode-se ver que as ten- tativas de avaliar o professor a partir do desempenho do aluno so no mnimo controversas. Dia- ne Ravitch (2010) diz: Se os estudantes eram bem sucedidos, o professor era o responsvel. Se os estudantes tiravam baixas pontuaes, era culpa do professor. Os professores eram, em ambos os ca- sos, a causa da baixa performance e a cura para a baixa performance. A soluo estava em livrar-se dos maus professores e recrutar somente os bons. Claro, foi difcil saber co- mo recrutar bons professores quando a determinao de sua efetividade requer vrios anos de dados da sala de aula (p. 182).
Alm disso, continua a autora, a qualidade de ser um bom professor no uma habilida- de necessariamente permanente. Alguns so excelentes ano aps ano. Outros so eficientes um ano, mas no no outro, medido com os mesmos instrumentos. Aparentemente, as pontuaes dos testes de seus estudantes refletem algo mais do que aquilo que os professores fizeram, tal como a habilidade do estudante e sua motivao, ou as caractersticas de sua classe ou condies da escola. Talvez o professor tenha uma grande interao com uma classe em um ano, mas no no ano seguinte. Ou os estudantes no so similares de ano para ano. Para alm da questo do pagamento por mrito, temos que considerar que os sistemas de responsabilizao e meritocracia esto destinados a criar os mecanismos para a privatizao do sistema pblico de educao. No outra coisa o que especifica a proposta da ONG Parceiros da Educao (2010) ao sugerir que o Brasil deva copiar o sistema de charter schools dos Estados Unidos. 26
As charters so escolas privatizadas que funcionam sob contrato anual que especifica metas para serem atingidas. Na viso de seus proponentes, ela deveria ser melhor que as escolas pblicas j que para estes um dos graves problemas da educao se deve ao fato dela estar pre- dominantemente nas mos do poder pblico, em especial a educao bsica. A ONG Parceiros da Educao chama a privatizao das escolas de gesto autnoma da Educao Bsica para viabilizar a existncia de escolas pblicas com gesto autnoma no Bra- sil.A proposta visa segundo esta ONG: criar arcabouos institucionais e normativos para regular os diferentes graus de partici- pao de instituies no governamentais, com e sem fins lucrativos, na gesto de escolas ou sistemas de ensino pblico da parceria completa responsabilidade (as charter s- chools) e para estabelecer indicadores de monitoramento dos resultados e auditagem dos recursos alocados.
Segundo o documento, ainda: a simples existncia dessas escolas promover uma saudvel concorrncia com as de- mais escolas da rede pblica e proporcionar mais uma alternativa de educao gratuita populao, e agrega vide recente exemplo da cidade de Nova Iorque, que decidiu ampli- ar ainda mais a abertura de novas charters schools, apesar da resistncia do sindicato dos docentes.
Aqui, aflora a lgica dos negcios: a melhoria da prestao de servios se d por concor- rncia. Para os novos reformadores, educao se compra como qualquer outra mercadoria e fornecida como se fosse qualquer empresa. A concorrncia a alma do negcio. Mas a concor- rncia proposta pelos novos reformadores desigual: implica e assim nos EUA que as esco- las chartercaptem os melhores alunos das redes pblicas, deixando os considerados ineduc- veis para que o Estado d conta deles via ensino pblico estatal uma guetorizao da escolari- zao dos mais pobres (Freitas, 2008). Mesmo assim estudos do Centro de Pesquisa CREDO(2009) mostram que os resultados destas escolas so controversos. Diz o estudo: A eficcia das escolas charter variou amplamente nos estados. Em cinco estados - Ar- kansas, Colorado (Denver), Illinois (Chicago), Louisiana, e Missouri - alunos de escolas charter experimentaram um crescimento significativamente maior - variando de 0,02 a 0,07 desvios-padro em relao s tradicionais escolas pblicas. Em seis estados - Arizo- na, Flrida, Minnesota, New Mxico, Ohio e Texas alunos de escolas charter experien- ciaram menores ganhos de aprendizagem variando de .01 a .06 do que s escolas p- blicas. Em quatro estados - Califrnia, distrito de Columbia, Gergia e Carolina do Norte- os resultados foram mistos ou no diferentes dos ganhos da escola pblica (p. 45).
Ou seja, em 10 estados os ganhos foram iguais ou inferiores s escolas pblicas conven- cionais. Somente em cinco estados houve desempenho superior. A situao das charters schools em Nova York - citadas na proposta do Parceiros da E- ducao como modelo a ser seguido pelo Brasil - tambm dbia (CREDO, 2010)(Springer & Winters, 2009), com impacto estatisticamente positivo em leitura, mas uma diferena no signifi- 27
cativa em matemtica quando comparadas com as escolas pblicas convencionais com popula- es de risco propsito da criao das charters. Mais de 20 anos destas polticas nos Estados Unidos no contriburam para a melhoria do sistema educacional americano. Ao contrrio, destruram seu sistema pblico de ensino. Adife- rena entre o desempenho de brancos e negros nos EUA, entre 1999 e 2004, caiu de 28 para 23 pontos. Trinta anos antes, em 1973 era de 35 pontos sendo, portanto pouco afetada, como mos- tra a anlise de Rothstein (2008). A avaliao de figuras importantes que participaram deste esforo nos Estados Unidos, como Ravitch (2010) mostra desencanto com estas estratgias. A autora defende que a lei No Child Left Behind foi punitiva e baseada em princpios errados de como melhorar as escolas. As- sumiu que divulgar as pontuaes de testes para o pblico seria uma alavanca efetiva para a re- forma escolar. Assumiu que mudanas de gesto conduziriam a melhorar a escola. Assumiu que envergonhar escolas que no podiam aumentar sua pontuao todo ano e as pessoas que tra- balhavam nela conduziria a pontuaes maiores. Assumiu que baixas pontuaes so causadas pela preguia de seus professores e o desleixo de seus diretores que precisam ser ameaados com a perda de seus postos. Estes princpios esto errados. Testes no so substitutos para o currculo e a instruo. Boa educao no se obtm pela estratgia de testar as crianas, envergonhar edu- cadores e fechar escolas, conclui a educadora (p. 111). 17
Qual o impacto destas polticas, concretamente, na melhoria da qualidade da educao americana? Para Diane Ravitch, em leitura, na quarta srie, a pontuao no NAEP (National As- sessment of Educational Progress) subiu 3 pontos entre 2003 (avaliao que se seguiu implanta- o da responsabilizao pela lei NCLB) e 2007, ou seja, menos que os 5 pontos ganhos entre 2000 e 2003, antes do NCLB ter efeito. Na oitava srie, no houve ganho entre 1998 e 2007. Em matemtica, os 5 pontos ganhos entre 2003 e 2007 so inferiores aos 9 pontos obtidos entre 2000 e 2003. Na oitava srie em matemtica, a histria a mesma (p. 109). Qual a situao dos Estados Unidos nos testes internacionais do PISA: est na mdia h 10 anos e no melhora. Est literalmente empacado. Estava antes de adotar estas medidas e conti- nua a estar depois delas (OCDE, 2010). A questo em jogo no se podemos ou no calcular bem o valor agregado. H um con- junto de consequncias na transposio do enfoque de mercado para a rea educacional, que precisam ser examinadas globalmente. Mesmo que os tcnicos se entendessem sobre os clculos, restariam muitas outras consequncias mais difceis de serem equacionadas do que estes.
17 Um excelente livro de Sharon L. Nichols e David C. Berliner chamado Efeito Colateral: como os testes de alto impacto corrompem as escolas da Amrica mostra as variadas formas de destruio do sistema pblico de educao americano (Nichols & Berliner, 2007). 28
Consideraes finais
A tramitao do PNE ser um momento privilegiado para construirmos diretrizes para a avaliao e regulao da educao no Brasil. Temos hoje experincia acumulada para sabermos, pelo menos, para onde no caminhar. A questo central impedir que a lgica dos negcios e de mercado penetrem no mbito da educao nacional e a destruam como um bem pblico. A primeira gerao que implantou a cultura de avaliao no Brasil tinha um pensamento minimalista, no sentido de que a ela interessava fixar a importncia de avaliar. Questes como as que esto sendo levantadas aqui eram respondidas com um evasivo pelo menos temos avalia- o. Trata-se, agora, de criar uma segunda gerao mais exigente. Que aprenda com os pro- blemas gerados pelo sequestro da avaliao pela rea dos negcios em outros pases. Que seja exigente quanto aos critrios de validade dos testes e seus limites e que exija do poder pblico garantias de que tais critrios e limites esto sendo observados. Esta nova fase dever ser orientada por um cdigo de tica que regule a ao dos vrios sujeitos que participam desta atividade. No podemos entregar nossos diretores, professores e alunos ao desregulamentada seja de governos, seja da indstria de avaliao educacional que se constitui no Brasil. Ser necessrio que o INEP, retome sua vocao de pesquisa deixada de lado e que se converta em um rgo que monitore no somente a qualidade da educao via IDEB, Prova Brasil ou PISA, mas que construa um entendimento do que ns consideramos, autonomamente como pas soberano, o que seja uma boa educao. Um INEP que pesquise como esta qualidade se dis- tribui no interior da sociedade brasileira levando em conta raa, gnero, nvel socioeconmico, distncias de desempenho entre grupos tnicos e sociais, entre outras variveis, usando tecnolo- gia de medio avanada que implique o monitoramento dos fluxos de alunos, a obteno de dados fidedignos do contexto econmico e social da educao brasileira, seu desempenho longi- tudinal, com estudos de painel que registrem o desenvolvimento dos alunos na sua entrada no sistema e ao longo de sua trajetria. Ou seja, um INEP mais investigativo e apoiador, do que um INEP que comodamente se senta para elaborar testes e divulgar estatsticas destinadas a respon- sabilizar gestores, diretores, professores e alunos. necessrio igualmente um grande esforo para que qualifiquemos pesquisadores e for- memos grupos de pesquisa independentes de governos e da indstria educacional, com condi- es de submeter a exame as bases de dados utilizadas por estes. Isso implica em forar a publici- zao de tais bases. No apenas na forma de micro dados, como j tem sido praticada em alguns 29
casos, mas regulando o acesso a bases de dados e a relatrios tcnicos que informem obrigatori- amente a sade dos testes aplicados (seus ndices de validade, de falsos positivo e negativo) as condies de coleta de dados e as decises metodolgicas de processamento tomadas seja no servio pblico, seja na iniciativa privada. Este um esforo mnimo, emergencial. Ainda ser necessrio mobilizar a comunidade cientfica e as instncias sociais envolvidas no processo educacional para submeter a discusso o papel dos testes de forma a resgat-los da viso de mercado, da cultura de auditoria e de sua posio de instrumento para alavancar a priva- tizao do ensino pblico e/ou apenas atender exigncias empresariais de redirecionamento de fluxo de mo de obra. Temos que conscientizar os formuladores da poltica pblica educacional de que no d para delegar OCDE a definio de educao de qualidade que queremos para nossa juventude. Muito menos, no debate interno, podemos delegar para as corporaes empresariais a definio dos objetivos educacionais na tica exclusiva das necessidades do mercado de trabalho. Mas a batalha mais dura ser contra a privatizao da escola pblica, via responsabiliza- o e meritocracia. Neste campo, teremos que enfrentar o fato de que as vrias matizes ideolgi- cas brasileiras, consubstanciadas em partidos polticos que conduzem a formulao das polticas e fazem as leis, convergem para o centro do espectro poltico, caracterizado pela indefinio ideo- lgica. Conceitos como pblico estatal e pblico no-estatal constituem ancoragens que podem promover uma privatizao oculta via estabelecimento de organizaes sociais de incio, sem fins lucrativos. O fato de no terem fins lucrativos expressos em apurao de lucro embalano financeiro, no significa que seus membros e seus subcontratados no afiram rendimentos. pela via das ONGs teoricamente sem fins lucrativos mas com farta doao das corporaes empresa- riais e/ou com farto acesso a recursos pblicos que se difunde a ideologia da privatizao oculta do ensino pblico, por um lado, e que se adequam os objetivos da educao e seus procedimen- tos aos interesses das corporaes no raramente mascarados de habilidades necessrias aos cidados do sculo XXI. Tais ONGs esto ligadas inclusive a partidos polticos que operam por meio delas em municpios e estados. No tm fins lucrativos, mas permitem que muito dinheiro (e poder) circule entre aqueles que participam delas diretamente ou como subcontratados. Um exemplo ilustra a convergncia para aes de privatizao branca. Em recente carta Cmara Municipal de Campinas (Campinas, 2011), o Prefeito desta cidade, do PDT, apoiado pelo PT 18 e com a assinatura do Secretrio de Esportes do PCdoB, escreve:
18 O PT, pelos seus vereadores, a bem da verdade, liderou um processo de resistncia que est levando a um reposicio- namento da questo. Isso se deve proximidade da disputa eleitoral de 2012, na qual ele pretende apresentar candida- 30
As organizaes sociais representam um modelo de organizao pblica no-estatal. (...) A desvinculao administrativa em relao ao Estado no deve ser confundida com uma privatizao de entidades da Administrao Pblica. As Organizaes Sociais no sero negcio privado, mas instituies pblicas que atuam fora da Administrao Pblica para melhor se aproximarem das suas clientelas, aprimorando seus servios e utilizando com mais responsabilidade e economicidade os recursos pblicos.
No ofcio ainda pode-se ler: Na condio de entidades de direito privado, as Organizaes Sociais tendero a assimi- lar caractersticas de gesto cada vez mais prximas das praticadas no setor privado, o que dever representar, entre outras vantagens, a contratao de pessoal nas condies de mercado, a adoo de normas prprias para compras e contratos e a ampla flexibilida- de na execuo do seu oramento.
Tudo isso, em um governo que se diz contra a privatizao e com apoio da chamada es- querda. So os mesmos partidos que compem a base aliada do governo Dilma. Tramitam no Congresso tanto o PNE como a Lei de Responsabilidade Educacional. Ser necessrio estarmos atentos a estas e outras leis que se sucedero no campo da educao. No podemos esquecer que em pases como os Estados Unidos onde a estrutura federativa assegura um grande papel para os estados, mesmo assim, em matria de educao, a federao legislou sobre os estados e imps a eles a formulao do Business Roudtable, papel que no Brasil cabe ao Movimento Todos pela Educao ponta de lana das corporaes locais. Sobre a experincia com a Lei de Responsabilidade Educacional americana, escreve Ravit- ch (2010): O No Child Left Behind introduziu uma nova definio de reforma escolar que foi aplau- dida tanto por Democratas como Republicanos. Nesta nova era a reforma escolar foi ca- racterizada por responsabilizao, testes de alto impacto, decises baseadas em dados, escolha, escolas charter, privatizao, desregulamentao, pagamento por mrito e competio entre escolas. Qualquer coisa que no pudesse ser medida, no contava. Foi irnico que um presidente Republicano conservador tenha sido responsvel pela maior expanso do controle federal da histria da educao americana. Foi igualmente irnico que os Democratas tenham abraado as reformas de mercado e outras iniciativas que tradicionalmente foram favorecidas pelos Republicanos (p. 21).
Referncias Arbache, J. (7 de janeiro de 2011). Brasil precisa elevar produtividade. Folha de So Paulo, p. B4. Baker, B., & Ferris, R. (2011). Adding Up The Spending: Fiscal Disparities and Philanthropy Among New York City Charter Schools.Acesso em 22 de fevereiro de 2011, disponvel em http://nepc.colorado.edu/publication/NYC-charter-disparities
to prprio e, para tal, tem que diferenciar-se do PDT. Mas ainda no sabemos, neste momento, o resultado final deste processo. 31
Baker, E. L. (29 de agosto de 2010). Problems with the use os student test scores to evaluate teachers.Acesso em 10 de novembro de 2010, disponvel em http://epi.3cdn.net/b9667271ee6c154195_t9m6iij8k.pdf Bloom, B. S., Hastings, J. T., & Madaus, G. F. (1971). Handbook on formative and summative evaluation on student learning.New York: MacGraw Hill. Brasil, M. (2010). Plano Nacional de Educao.Brasilia: MEC. Braun, H., Chudowsky, N., & Koenig, J. (2010). Getting Value Out of Value-Added: Report of a Workshop.Acesso em 7 de janeiro de 2011, disponvel em http://www.nap.edu/catalog/12820.html Briggs, D. C., & Domingue, B. (8 de fevereiro de 2011). Due Diligence and the Evaluation of Teachers.Acesso em 14 de fevereiro de 2011, disponvel em http://nepc.colorado.edu/publication/due-diligence Burch, P. (2009). Hidden markets: the new education privatization. New York: Routledge. Campbell, D. (1976). Assessing the Impact of Planned Social Change.Acesso em 15 de fevereiro de 2011, disponvel em http://portals.wi.wur.nl/files/docs/ppme/Assessing_impact_of_planned_social_change1. pdf Campinas, P. M. (01 de fevereiro de 2011). Ofcio no. 39/2010. Encaminha Projeto de Lei que Dispe sobre a qualificao de entidades como organizaes sociais. Campinas, So Paulo. Chubb, J. E., & Moe, T. M. (1990). Politics, markets and America's shools. Washington: Brookings Institution. Clawson, L. (2011). So-called "Right to Work" and the assault on the middle class. Acesso em 13 de fevereiro de 2011, disponvel em http://www.dailykos.com/ Corcoran, S. (2010). Can Teachers be Evaluated by their Students Test Scores? Should They Be? The Use of Value-Added Measures of Teacher Effectiveness in Policy and Practice .Acesso em 13 de fevereiro de 2011, disponvel em http://www.annenberginstitute.org/pdf/valueAddedReport.pdf CREDO. (2009). Multiple Choice: charter school performance in 16 states.Acesso em 10 de novembro de 2010, disponvel em http://credo.stanford.edu/reports/MULTIPLE_CHOICE_CREDO.pdf CREDO. (2010). Charter School Performance in New York City.Acesso em 28 de janeiro de 2011, disponvel em http://credo.stanford.edu/reports/NYC%202009%20_CREDO.pdf Durham, E. (1994). Estrutura irracional e perdulria. Folha de So Paulo, p. 3. Emery, K. (2002). The Business Roundtable and Systemic Reform: How Corporate-Engineered High- Stakes Testing Has Eliminated Community Participation in Developing Educational Goals and Policies. Doctoral Dissertation, University of California. 32
Emery, K. (2005). Origins and Purpose of No Child Left Behind.Acesso em 13 de fevereiro de 2011, disponvel em http://www.educationanddemocracy.org/Emery/Emery_NCLB.htm Farley, T. (2009). Making the grades: my misadventures in the standardized testing industry.Sausalito: PoliPointPress. Felch, J., Song, J., & Smith, D. (14 de Agosto de 2010). Grading the teachers: Who's teaching L.A.'s kids?Acesso em 7 de fevereiro de 2011, disponvel em http://www.latimes.com/news/local/la-me-teachers-value-20100815,0,2695044.story Fernandes, R. (julho de 2007). O mentor da equao: entrevista a Marta Avancini. Acesso em 26 de fevereiro de 2011, disponvel em http://revistaeducacao.uol.com.br/textos.asp?codigo=12199 Freitas, L. C. (1992). Conseguiremos escapar ao neotecnicismo? In: M. B. Soares, S. Kramer, & M. Ludke, Escola Bsica (Anais da 6a. CBE). Campinas: Papirus. Freitas, L. C. (1992a). Neotecnicismo e formao do educador. In: N. Alves, Formao de professores: pensar e fazer (pp. 89-102). So Paulo: Cortez. Freitas, L. C. (1992b). Formao do professor para o amanh: transformao ou modernizao? Cadernos do CED(17), 5-17. Freitas, L. C. (1995). Crtica da organizao do trabalho pedaggico e da didtica. Campinas: Papirus. Freitas, L. C. (2008). Nas trilhas da excluso: guetorizao, eliminao adiada e mudanas na organizao escolar. Revista Propuesta Educativa, 17, pp. 19-31. Gall, N., & Guedes, P. M. (s/d). A reforma educacional de Nova York: possibilidades para o Brasil. Acesso em 14 de fevereiro de 2011, disponvel em Fundao Itau Social: http://ww2.itau.com.br/itausocial2/pdf/reforma_educacional_ny.pdf Gamble, A. (1988). The free economy and the strong state. Durham: Duke University Press. Heilig, J. V., & Darling-Hammond, L. (2008). Accountability Texas-Style: the progress and learning of urban minority studentes in a high-stakes testing context. Educational Evaluation and Polity Analysis, 30, 75-110. INEP. (2011). Acesso em 14 de fevereiro de 2011, disponvel em http://www.inep.gov.br/internacional/pisa/ Jones, M. G., Jones, B. D., & Hargrove, T. Y. (2003). The unintended consequences of high-stakes testing. Maryland: Rowman and Littlefield publishers. Kane, T. J., & Staiger, D. O. (2002). The promise and pitfalls of using imprecise school accountability measures. Journal of Economic Perspectives, 16(4), 91-114. Koretz, D. (2008). Measuring Up: what educational testing really tells us. Cambridge: Harvard University Press. 33
Lemann, N. (1999). The big test: the secret history of the American Meritocracy. New York: Farrar; Strauss; Giroux. Leung, R. (22 de agosto de 2004). The "Texas Miracle".Acesso em 22 de fevereiro de 2011, disponvel em http://www.cbsnews.com/stories/2004/01/06/60II/main591676.shtml Lima, R. A. (30 de Junho de 2010). Um plano para avanar. Acesso em 10 de janeiro de 2011, disponvel em http://www.parceirosdaeducacao.org.br/evento_propostas/pdf/veja.pdf Madaus, G., Russell, M., & Higgins, J. (2009). The paradoxes of high stakes testing. Charlotte: Information Age Publishing. Mandevilla. (2007). Bush Profiteers Collect Billions From No Child Left Behind. Acesso em 14 de fevereiro de 2011, disponvel em http://www.dailykos.com/story/2007/03/14/311754/- Bush-Profiteers-collect-billions-from-NCLB,-Part-1 Mantega, G. (27 de fevereiro de 2011). Primeiras aes de Dilma parecem governo Lula3: entrevista com Guido Mantega. Folha de So Paulo, p. A12. Mximo, L. (21 de janeiro de 2011). Ganho por meta foco de Estados na educao. Jornal Valor Econmico. Miller, E., & Almon, J. (2009). Crisis in the Kindergarten: why children need do play in school.Acesso em 27 de fevereiro de 2011, disponvel em Alliance for Childhood: http://www.allianceforchildhood.org/sites/allianceforchildhood.org/files/file/kindergarte n_report.pdf Nichols, S. L., & Berliner, D. C. (2007). Collateral Damage: how high-stakes testing corrupts America's schools. Cambridge: Harvard Educational Press. OCDE. (2010). Presentation of the PISA 2010 Results.Acesso em 26 de janeiro de 2011, disponvel em http://www.oecd.org/document/7/0,3746,en_21571361_44315115_46635719_1_1_1_1, 00.html O'Connor, J. (1986). Accumulation Crisis. Oxford: Basil Blackwell. Parceiros_da_Educao. (2010). A transformao da qualidade da educao bsica no Brasil. Acesso em 14 de dezembro de 2010, disponvel em Parceiros da Educao: http://www.parceirosdaeducacao.org.br/evento_propostas/pdf/transformacao.pdf Ravitch, D. (2010). The death and life of the great American School System. New York: Basic Books. Ravitch, D. (2010a). Why teachers should never be rated by test scores.Acesso em 8 de dezembro de 2010, disponvel em http://voices.washingtonpost.com/answer-sheet/diane- ravitch/ravitch-why-teachers-should-ne.html Ravitch, D. (2010b). New York education officials are lying to the state's schoolkids.Acesso em 20 de julho de 2010, disponvel em 34
http://www.nydailynews.com/opinions/2010/03/31/2010-03- 31_new_york_state_education_officials_are_lying_to_schoolkids.html#ixzz0npXGNIgU Ravitch, D. (2011). Testing Remains the Problem. Acesso em 29 de Janeiro de 2011, disponvel em http://www.nytimes.com/roomfordebate/2011/01/26/grading-the-education- president/tests-from-the-top-down Rothstein, J. (2011). Review of Learning About Teaching.Acesso em 20 de fevereiro de 2011, disponvel em http://nepc.colorado.edu/thinktank/review-learning-about-teaching Rothstein, R. (7 de abril de 2008). A Nation at Risk Twenty-Five Years Later.Acesso em 25 de janeiro de 2011, disponvel em http://www.cato-unbound.org/2008/04/07/richard- rothstein/a-nation-at-risk-twenty-five-years-later/ Saviani, D. (1986). Escola e Democracia. So Paulo: Cortez ed.; Autores Associados. Scher, A., & Burchard, S. (2009). Bush Profiteers Collect Billions From No Child Left Behind - part 12 - by Mandevilla. Acesso em 14 de fevereiro de 2011, disponvel em Project Censored - Media Democracy in action: http://www.projectcensored.org/top-stories/articles/12- bush-profiteers-collect-billions-from-no-child-left-behind/ Schochet, P. Z., & Chiang, H. S. (Julho de 2010). Error Rates in Measuring Teacher and School Performance Based on Student Test Score Gains.Acesso em 6 de janeiro de 2011, disponvel em http://ies.ed.gov/ncee/pubs/20104004/pdf/20104004.pdf Shepherd, J. (27 de janeiro de 2011). Education bill lets government order closure of failing schools. Acesso em 9 de fevereiro de 2011, disponvel em Guardian: http://www.guardian.co.uk/education/2011/jan/27/education-bill-abolishes-four- quangos Skinner, B. F. (1967). Cincia e comportamento humano. Brasilia: Ed. Universidade Brasilia. Soares, J. S., & Hachem, Z. I. (2010). Gratificao para professores e funcionrios de escolas de educao bsica: proposta de indicador. In: A. Dalben, Convergncias e tenses no campo da formao e do trabalho docente (pp. 128-139). Belo Horizonte: Autntica. Springer, M. G., & Winters, M. A. (abril de 2009). New York City's School-Wide Bonus Pay Program.Acesso em 3 de dezembro de 2010, disponvel em http://www.performanceincentives.org/data/files/news/PapersNews/200902_SpringerW inters_BonusPayProgram1.pdf Taubman, P. M. (2009). Teaching by numbers: deconstructing the discourse of standards and accountability in education. New York: Routledge. Torres, K., & Vogell, H. (20 de novembro de 2010). Atlanta superintendent Beverly Hall to step down.Acesso em 28 de janeiro de 2011, disponvel em Atlanta Journal-Constitution : http://www.ajc.com/news/atlanta/atlanta-superintendent-beverly-hall-747762.html 35
Tucker, C. (agosto de 2010). Beverly Hall needs to retire.Acesso em 29 de janeiro de 2011, disponvel em http://blogs.ajc.com/cynthia-tucker/2010/08/26/beverly-hall-needs-to- retire/ Valenzuela, A. (2004). Leaving children behind: how "Texas-style" accountability fails latino youth. New York: Suny. Vasagar, J. (29 de janeiro de 2011). Eight free schools to open. Acesso em 10 de fevereiro de 2011, disponvel em Guardian: http://www.guardian.co.uk/education/2011/jan/29/free- schools-approved Waiselfisz, J. J. (2010). Famlia responsvel por at 50% do desempenho do aluno. Acesso em 14 de dezembro de 2010, disponvel em Gazeta do Povo: http://www.gazetadopovo.com.br/ensino/conteudo.phtml?id=1077319 Waiselfisz, J. J. (2010). O ensino de cincias no Brasil e o PISA. Acesso em 14 de dezembro de 2010, disponvel em http://cms.sangari.com/midias/2/36.pdf Zhao, Y. (2011). It makes no sense: Puzzling over Obamas State of the Union Speech. Acesso em 10 de fevereiro de 2011, disponvel em http://zhaolearning.com/2011/01/30/%E2%80%9Cit-makes-no-sense%E2%80%9D- puzzling-over-obama%E2%80%99s-state-of-the-union-speech/