MANUAL DE Avaliação Da Formação
MANUAL DE Avaliação Da Formação
MANUAL DE Avaliação Da Formação
AVALIAÇÃO DA FORMAÇÃO
União Europeia
Fundo Social Europeu
FICHA TÉCNICA
1/202
Manual de Avaliação da Formação
2/202
Manual de Avaliação da Formação
3/202
Manual de Avaliação da Formação
I. EM JEITO DE ENTRADA
Limitamo-nos, como vê, a passar à prática, o que todos os livros sugerem: comece
por averiguar o que os seus formandos já sabem, pois isso é o primeiro passo
para o sucesso.
Pois bem, a actividade que lhe propomos é bem simples: nas páginas seguintes
encontrará a descrição de um caso prático, retirado de uma situação real, e que lhe
pedimos que complete. Terá de fazer o favor de se imaginar como um dos
formadores do processo que, ainda por cima, é gestor da formação. Nessa
qualidade, deverá ultimar a proposta a apresentar ao cliente onde, conforme
reparará, falta a rubrica da avaliação.
BOM TRABALHO!
Abertura 4/202
Manual de Avaliação da Formação
II. DIAGNÓSTICO
ENQUADRAMENTO
Parece ser consensual a ideia de que a gestão das empresas tem de ser cada
vez mais abrangente, se se pretende competente e eficaz. O gestor dos anos
90, homem do terreno e treinado no uso das ferramentas de gestão, tem de
tornar-se arquitecto do projecto de empresa e um chefe de orquestra que saiba
dialogar e fazer-se rodear dos melhores especialistas.
Torna-se, assim, vital que compreenda a dinâmica global da empresa. Ou seja,
o responsável pela área financeira não poderá ser insensível às questões da
área comercial, o responsável técnico pela gestão dos recursos humanos não
deverá ignorar os problemas das áreas produtiva, financeira e comercial e os
quadros com o pelouro contabilístico e financeiro, por sua vez, necessitarão de
prestar atenção às pessoas e à sua gestão, ao marketing, à produção, etc.
Uma abordagem deste tipo, global e sistémica, gira em torno das ideias-chave
da multifuncionalidade do saber e duma concepção de empresa como um
sistema de elos interdependentes, cuja movimentação é concertada, não
podendo um elemento avançar ou regredir sem que o seu gesto tenha
consequências nos outros.
A eficácia organizacional resultante de abordagens deste tipo, sendo importante
em todos os sectores de actividade, é um importante objectivo a perseguir por
parte de empresas que prestam serviços de consultoria de gestão. A actividade
que desempenham terá de assentar na polivalência e multifuncionalidade de
todos os elementos que a compõem.
FINALIDADES DO PROGRAMA
DESTINATÁRIOS
ARQUITECTURA BÁSICA
De acordo com Wexley e Latham, o propósito geral da formação “tem a ver com
aquisição de conhecimento e de competências (...). Qualquer esforço de formação e
desenvolvimento pode ter em vista um ou mais dos seguintes objectivos:
1. aumentar nos indivíduos níveis de auto-consciência;
2. aumentar competências individuais numa ou mais áreas de perícia;
Parece, assim, haver dois modelos de formação diferentes e que competem entre
si.
Mudanças na Mudanças no
eficácia desempenho
organizacional profissional in
Bramley, 1991, p. 3
Avaliação de competências
e recursos existentes
in Bramley, 1991, p. 5
Por outro lado, a avaliação da formação fica, desde logo, salvaguardada, na medida
em que se descrevem as alterações a atingir e, de seguida, os critérios com base
nos quais qualquer medição entre proposto e realizado será feita.
Um processo de formação pensado e executado deste modo pode trazer
significativos benefícios:
- em primeiro lugar, a teleologia (orientação última) da formação resulta mais
evidente, o que a torna mais facilmente apreendida e interiorizada por todos os
intervenientes na formação, entre os quais formadores e formandos.
Envolver a gestão no
desenho e execução
do programa
Promover novos
comportamentos no
"terreno" através de
supervisão e Execução
avaliação de do programa
desempenho
ibidem
A análise dos modelos que foi feita tem consequências notórias para a concepção e
passagem à prática de estratégias e modelos avaliativos. Atente-se no seguinte
exemplo retirado de um caso real que tivemos oportunidade de vivenciar:
Uma PME a operar no sector da construção civil faz ingressar num programa avançado de
gestão o seu Director de Produção. Os restantes participantes são, à semelhança deste,
quadros superiores ou ainda directores gerais, administradores e empresários de
empresas que operam em vários outros sectores de actividade.
A empresa prestadora da formação, um ano decorrido sobre aquela, resolveu proceder a
uma avaliação do impacte da formação questionando os antigos formandos e as direcções
das respectivas empresas sobre os contributos operacionais, para cada uma das
organizações, trazidos pela formação. De entre as várias informações recolhidas, as
respostas davam conta, em geral, de melhorias constatadas nos formandos ao nível de
autonomia decisional, do posicionamento estratégico face ao negócio, da participação na
elaboração de estratégias que se pretendiam competitivas e da definição de políticas de
intervenção organizacional e sua implementação. As informações eram, aliás, tanto
melhores quanto mais se tratava de empresas que já tinham feito ingressar outros
quadros seus em anteriores edições do programa.
As informações recolhidas junto do Director de Produção e da sua empresa, em
contrapartida, não permitiram concluir nada disto. Embora a avaliação que este fez ao
programa de formação fosse excelente e a avaliação das suas aprendizagens ter
permitido concluir que adquiriu os conhecimentos e capacidades trabalhados durante o
curso, os reflexos organizacionais eram preocupantes. Nada do que tinha aprendido tinha
sido aplicado e o grau de motivação para o exercício das funções era agora
substancialmente inferior àquele de que dispunha antes de dar início à formação. A
questão da não transferência para o contexto de trabalho, logo da não existência de
qualquer tipo de contributo organizacional prendia-se com o facto de a cultura
organizacional, o tipo de gestão, a situação de sub-contratação de capacidade
característica de uma significativa parcela dos negócios da empresa não ter alegadamente
permitido que algumas das teses defendidas como adequadas pudessem ter vingado
naquela empresa e com aqueles corpos dirigentes, em particular.
Trata-se, de resto, do mais consensual e, pelo que nos é dado a conhecer, o modelo
que orienta as acreditações concedidas pelo INOFOR.
Não se esqueça, depois de terminar a leitura deste texto, de voltar atrás e analisar
comparativamente a estratégia avaliativa que definiu de início para o caso
Gesconsult.
Trata-se de um modelo que, para além da avaliação, contempla aspectos que têm a
ver com a construção do próprio processo de formação. Atribui-se aqui uma enorme
importância à fase de detecção de necessidades de formação, entendida pelo autor
como a base de toda a metodologia, na medida em que os objectivos que daqui
resultam definidos constituem o referente em função do qual os resultados são
medidos.
A pragmaticidade deste modelo fica algo colocada em causa, contudo, em virtude de
medidas de tipo quantitativo (rating scales e scoring schemes) para a avaliação da
transferência e do impacte organizacional.
Nenhuma formação tem sentido se não forem tidos em conta os seus resultados.
Trata-se, afinal da prova da verdade: que resultados se obtiveram?
Para ultrapassar esta questão é necessário saber colocar o problema, sabendo o que
se quer avaliar, porquê e em que condições esta avaliação é realizável. Impõe-se
também colocar a questão da sua utilidade: a quem servem os resultados da
avaliação e a que se destinam?
Impacte
Transferência
Aprendizagens
Satisfação/Reacções
Na literatura sobre este tema, as grelhas que se distribuem pelos formandos e com
base nas quais se faz esta avaliação da satisfação são apelidadas, laconicamente, de
smiling sheets (folhas do sorriso).
A razão de ser desta ironia radica na ideia de que quanto mais os formadores são
simpáticos e sorridentes, melhores são os resultados da avaliação.
De facto, é fácil que a subjectividade tome conta desta avaliação. Nas várias acções
em que participámos, não raro foi-nos possível observar que, com muita frequência,
os mesmos itens (condições da sala, coordenação, apoio e secretariado, …) podem
merecer 1 ou 5, consoante o modo como o formador actuou e seduziu. Esta
centragem excessiva no formador, com os efeitos de subjectividade
na avaliação dos restantes itens que daí decorre, retira alguma da legitimidade.
Para além disso, estudos realizados permitiram observar, nalguns casos, correlação
negativa entre as avaliações da satisfação e a avaliação das aprendizagens. Ou seja,
as pessoas diziam gostar muito e, na realidade, aprenderam pouco.
Não obstante as suas enormes limitações, por demais provadas e afirmadas, esta
avaliação é importante, uma vez que:
• é sabido que a satisfação dos formandos ajuda a compreender o seu grau de
motivação e este, por sua vez, está directamente relacionado com a vontade
e a disposição para aprender;
• informa os formandos que os formadores estão ali para os ajudar a
desenvolver competências e que necessitam de saber até que ponto foram
eficazes;
• se não for feita, dá a entender aos formados a entender que se pode avaliar
um programa sem necessitar das suas opiniões;
• as avaliações proporcionam informações quantitativas que podemos facultar
aos gestores e todos os agentes envolvidos no programa.
• as informações que proporciona servem o mais interessante de todos os
propósitos: melhorar as próximas edições, no que diz respeito à alocaçao de
recursos;
• pode proporcionar informações que venham a constituir um bom selling point
(argumento de venda) para futuras edições.
RUBRICAS A AVALIAR
A lista que se segue, não sendo exaustiva, inclui os tipos de informação mais
frequentemente solicitados:
12 Avaliação global
Para além disso, pode ainda procurar-se saber como os formandos se propõem
aplicar o que aprenderam e que eventuais obstáculos podem surgir nessa tentativa
de aplicação.
A primeira
A opinião de um formando não nos diz nada sobre a sua efectiva aquisição de
conhecimentos. Pode-se, em boa fé, estar convencido de que se adquiriu um
bom nível em inglês e ser-se completamente incapaz de conversar nesta língua
em situação real.
A segunda
Há uma forte relação entre o clima relacional na formação e os resultados da
avaliação. Eis porque chamam a estas fichas de avaliação smiling sheets (se o
formador sorri muito, os resultados serão bons).
A terceira
Este método permite aos formandos avaliar a formação e não o inverso (como
ficaria a segurança nas estradas se a carta de condução fosse atribuída sem
outra formalidade que não a opinião do candidato sobre a escola de condução e
um certificado de presença no curso).
A quarta
Este indicador não permite saber quais os conhecimentos adquiridos, qual o seu
grau de aplicação real nem os efeitos que esta aplicação provoca na empresa.
Como forma de consolidar os seus conhecimentos, sugerimos-lhe que realize a
ACTIVIDADE 1.
ACTIVIDADE PRÁTICA 1
nível: satisfação/reacções
Procure na Internet (ou socorra-se de outro tipo de fontes), por forma a recolher
um exemplo de ficha de avaliação da satisfação.
Por último, e tendo em conta a avaliação que fez, reformule a referida ficha de
avaliação, de forma a ficar de acordo com o que, do seu ponto de vista, seria o
ideal.
1.3.
GRELHA DE AUTO-AVALIAÇÃO
1. GRAU DE SISTEMATIZAÇÃO
Critérios: existência de grelha de avaliação anónima com indicadores
autonomizados e formato atraente versus recolha de opiniões livres expressas
oralmente.
2. VALIDADE DO CONTEÚDO
Critérios: selecção criteriosa do conjunto de aspectos que pretende ver
avaliados versus conjunto avulso de questões sobre a acção.
3. CLAREZA DO ENUNCIADO
Critérios: univocidade e simplicidade versus ambiguidade e complexidade das
questões.
4. MODALIDADE DA RESPOSTA
Critérios: escala par (mínimo 6) e espaço para comentários por questão versus
escala ímpar sem recolha de comentários.
5. VALIDADE DA APLICAÇÃO
Critérios: motivação para um preenchimento cuidado e disponibilização de todas
as informações necessárias versus mera distribuição para preenchimento rápido
com questões a que os formandos não podem responder.
Impacte
Transferência
Aprendizagens
Satisfação/Reacções
Era uma vez um ratinho que juntou as sete moedas de ouro que possuía e que
resolveu ir procurar fortuna por este mundo fora.
Já a caminho, encontra uma doninha que lhe pergunta:
• Hei, amigo. Onde vais tu com tanta determinação?
• Vou procurar fortuna por este mundo fora, respondeu o ratinho.
• Pois hoje é o teu dia de sorte, diz a doninha. Por quatro moedas de ouro
vendo-te este carro de corrida que te permitirá chegar bem mais rápido.
• Magnífico! Diz o ratinho, que monta no seu novo carro e passa, assim, a
deslocar-se cem vezes mais rápido.
Um pouco depois, aparece uma raposa que o interpela:
• Hei, amigo. Onde vais tu com tanta determinação?
• Vou procurar fortuna por este mundo fora, respondeu o ratinho.
• Pois hoje é o teu dia de sorte, diz a raposa. Por uma módica quantia podes
ter esta varinha mágica que te permitirá viajar ainda mais rápido.
O ratinho comprou então a varinha mágica com o dinheiro que lhe restava e passou
a poder viajar mil vezes mais depressa, sobre a terra e sobre o mar, como uma
flecha.
Eis quando encontra um tubarão que lhe pergunta:
• Hei, amigo. Onde vais tu com tanta determinação?
• Vou procurar fortuna por este mundo fora, respondeu o ratinho.
• Pois hoje é o teu dia de sorte, diz o tubarão. Se tomares este atalho, disse o
tubarão, mostrando a sua boca escancarada, pouparás imenso tempo.
• Oh, muito obrigado, disse o ratinho, entrando rapidamente na boca do
tubarão e sendo, assim, prontamente devorado.
O VENTO NUNCA É FAVORÁVEL ÀQUELE QUE NÃO SABE ONDE QUER IR.
O QUE SE SABE
A ênfase dada à qualidade, seja TQM ou melhoria contínua, não tem conhecido
resposta adequada no domínio da formação. Uma das razões que o justifica tem,
desde logo, que ver com a dificuldade de avaliar os resultados da formação,
circunstância que impede que se lhe aplique os processos habitualmente utilizados
para a qualidade total.
O QUE ACONTECE
Para que estas surjam, por seu turno, é necessário que prestemos atenção ao que
poderemos considerar como os pilares de qualquer acção de formação – as
intencionalidades formativas1 – pois da sua formulação dependerá a qualidade da
avaliação a realizar.
1
Optámos por esta designação, tendo em conta que são vários os nomes com que
os objectivos de um projecto formativo podem ser referidos: finalidades, metas,
competências, objectivos gerais e indicadores de aprendizagem.
Há algum tempo atrás, um dos formadores com que trabalhávamos pediu-nos que
analisássemos um conjunto de objectivos que tinha escrito. Uma rápida leitura
permitiu-nos perceber que, porque desrespeitavam cuidados básicos na sua
formulação, tinham uma utilidade reduzida, senão mesmo nula.
Desagradado com o nosso comentário, o formador insistia, que eram objectivos, sim
senhor. Nós é que deveríamos rever o modo como definíamos objectivos.
Como a sua insistência não diminuía, optámos por fazer-lhe entender o problema
chamando enciclopédia ao telefone móvel pousado em cima da mesa.
Já irado, o nosso formador acusava-nos de termos perdido a razão. Afinal, ele sabia
o que era um dicionário e sabia também muito bem o que era o telefone. Por isso, …
Como sabe? insistíamos nós. Dizia ele, convincente e convencido, que há critérios
que permitem distinguir um telefone de um dicionário ou de outra coisa qualquer.
Um telefone permite fazer chamadas, tem um dispositivo para ligar os números, um
auscultador, produz sons, ….
1.1.7. AVALIAÇÃO-DIAGNÓSTICO
ACTIVIDADE PRÁTICA
Para que isso aconteça, colocámos à sua disposição um percurso iteractivo, onde,
através de exercícios e actividades, irá conhecendo formas cada vez mais
adequadas de utilizar os objectivos ao serviço da formação e, consequentemente, da
avaliação.
EXERCÍCIOS DE AVALIAÇÃO-DIAGNÓSTICO
3.2. Serva-se da chave seguinte para justificar, para cada um deles, o erro de
formulação
X – Está definido em termos de actividade do formador em vez de actividade
do formando.
Y – Contém mais de um objectivo no mesmo enunciado.
Z - Está definido em termos de processo (actividade de aprendizagem) em vez
de produto (o que se espera que o formando faça no final da
aprendizagem).
4.Na seguinte listagem de objectivos, apenas UM dos objectivos se pode
considerar como objectivo geral. Queira indicar qual é.
A – Identifica os elementos constituintes de uma preposição num mapa
conceptual.
B – Anima uma frase num slide em Powerpoint com a opção revelar.
C – Enuncia correctamente os nomes de ferramentas utilizadas na reparação
de avarias de tipo X.
D – Aplica o teorema de Pitágoras na resolução de um problema dado.
E – Aplica a matriz de avaliação de Kirkpatrick a uma acção de formação.
5.O processo de definir primeiro os objectivos gerais e clarificar depois cada
objectivo através de uma lista de comportamentos específicos significativos de
que o objectivo geral foi atingido, tem vantagem sobre o processo de fazer
apenas uma lista dos comportamentos específicos porque (indique a frase que
NÃO COMPLETA esta afirmação):
3. enquanto produto
Preferencialmente, os objectivos pedagógicos devem estar definidos para o
final de um processo de formação e não para o seu decurso. Assim, devem
evitar-se expressões como “o formando vai aprender a definir objectivos”,
uma vez que o vai ser avaliado é, por exemplo, se o formando sabe ou não
definir objectivos.
O produto a que nos referimos não é necessariamente o final do percurso
formativo; pode tratar-se de um degrau intermédio, ou seja, um momento
particular da formação que antecede outros tantos, fazendo daquele
objectivo um degrau que é necessário franquear para que se possa dar
continuidade à formação. Nestes casos, os objectivos pedagógicos são,
verdadeiramente, o que se pode chamar de indicadores de aprendizagem.
Não obstante, devem ser definidos como produto. Atente-se no seguinte
exemplo retirado de um eventual plano de sessão sobre a definição de
objectivos: 1) o formando deve identificar as características dos objectivos;
2) seleccionar, de uma lista dada, objectivos mal formulados; 3) reformular
objectivos mal formulados; 4) definir objectivos pedagógicos para uma
sessão formativa da sua área do saber. Apesar de serem indicadores de
aprendizagem, sequenciais e não suficientes por si mesmos, todos estes
1.1.8.OBJECTIVOS
ACTIVIDADE PRÁTICA
MAGER 1 - COMPORTAMENTOS
Para além disso, este objectivo respeita ainda a terceira característica que, segundo
Mager, um objectivo deverá respeitar: os critérios mínimos de desempenho.
Referimo-nos a não deverá errar mais de 3, elemento da formulação que especifica
o limite inferior de um desempenho aceitável e permite que o formando seja
classificado com rigor e sem qualquer problema de subjectividade.
Segundo Mager, um objectivo bem definido deveria, então, preencher estes três
requisitos: comportamento, condições e critérios.
Para uma melhor compreensão dos requisitos definidos por Mager,
realize a actividade OBJECTIVOS MAGER 2.
ACTIVIDADE PRÁTICA
1 2
A O aluno deve ser capaz de compreender a teoria da evolução.
Essa compreensão será demonstrada através da elaboração de
um texto sobre a evolução.
No entanto, a sua utilização foi perdendo aderentes pelo facto de apresentar mais
desvantagens do que benefícios.
Julgamos que é fácil de ver que, numa situação destas, os formandos podem ser
“condicionados” a assumir todos estes comportamentos sem que, em momento
algum, se possa dizer que respeitam o ambiente, afinal de contas, o que deveria
constituir o verdadeiro propósito da formação. No entanto, de acordo com Mager e a
necessidade absoluta da mediação, do rigor e da quantificação, respeitar o ambiente
é tudo menos um objectivo, uma vez que não designa um comportamento, não
refere condições e não aponta um limite mínimo de desempenho. Ou seja, é-lhe
recusado lidar com os formandos em função do que são e do que quer que sejam:
pessoas. Ao invés, corre o risco de os tratar como uns quaisquer macacos
Gervásios2, submetendo-os a um processo de condicionamento clássico, com mais
ou menos reforço positivo e motivação à mistura.
2
Nome do macaco que, no anúncio televisivo promotor da separação do lixo, é a personagem central.
Sintomaticamente, este anúncio termina dizendo: “Se até ele consegue, por que razão você não separa o lixo?”. Fale-se
de adestramento ….
O problema com este tipo de formulação é que o formando pode ser capaz de todos
estes “comportamentos” e não conseguir definir objectivos para uma formação que
lhe tenha sido proposta; pelo menos, que se revelem úteis para o trabalho
formativo. Tudo porque, em sala, não foi acautelada a necessidade de integração de
saberes parciais em função de saberes mais globais trabalhados em função do
saber agir, ou seja, de os formandos serem capazes de mobilizar saberes para
resolver situações concretas, com pessoas concretas em contextos concretos. Como
será fácil de ver, esta competência deve pouco à mecanização e à aplicação rígida e
em abstracto de uma qualquer capacidade, por mais mecanizada que esta seja.
Não é, por isso, de estranhar que a abordagem da pedagogia por objectivos tenha
vindo, progressivamente, a ser posta de parte e até considerada como uma prática
algo perigosa.
3
Numa das formações que acompanhámos, por exemplo, para além de todos os objectivos definidos e, no essencial,
cumpridos, foi possível constatar que mais de metade dos formandos que a frequentaram retomaram o seu percurso
académico e voltaram a estudar, uma vez a formação terminada. Não tendo sido inicialmente definido como
4. Por todas as razões referidas, julgamos poder afirmar que este tipo de
abordagem pedagógica limita a criatividade do aluno.
objectivos a atingir, foi de uma enorme utilidade tomar conhecimento deste facto. Se a lógica de abordagem desta
formação fosse a decorrente da pedagogia por objectivos, a avaliação não se poderia preocupar senão com os
comportamentos pré-definidos, para onde afinaria todos os instrumentos avaliativos, correndo-se, assim, o risco de
nem sequer ter consciência deste “efeito secundário”.
aprendizagem.
Por maioria de razão essa função lhe caberá quando lhe é pedido que planifique a
partir de uma base menos sólida, como é situação comum à saída de diagnósticos
formativas e fazer disso a base de qualquer planificação. Tal como dizia Séneca:
Os ventos nunca são favoráveis àquele que não sabe onde quer ir.
4
No âmbito deste exemplo, optámos por não detalhar ao nível dos indicadores organizacionais, esta necessidade de
formação. Sabemos, contudo, que, em situações que se pretendessem eficazes, seria necessário dispor de indicadores
enunciados muito vagos e ambíguos, pois são grandes intenções formativas que,
ainda que escritas com um verbo (desenvolver), não respeitam os requisitos que
Se se ficasse por aqui, o percurso formativo iria ser tudo menos planificado com
5. trabalhar em equipa
concretos que sustentassem esta necessidade, sob pena de não passar de uma impressão. E, por vezes, é aborrecido
desperdiçar recursos em impressões que se revelam apenas isso … impressões.
Por sua vez, conviria ainda que cada um destes objectivos gerais fosse ainda
operacionalizado. Atente-se em parte do primeiro - saber traduzir os conteúdos a
serem ensinados em objectivos de aprendizagem – e facilmente se identificará um
conjunto de indicadores de aprendizagem que iluminariam a sequência formativa e
facilitariam a planificação
APRENDIZAGEM.
ACTIVIDADE PRÁTICA
4. Atente agora neste exemplo: qual o objectivo mais geral e quais os indicadores
de aprendizagem?
Analisar dados
- representar graficamente dados obtidos numa experiência;
8. Dos dois exemplos seguintes, escolha o que lhe parece estar devidamente
formulado.
a) adquire conhecimentos básicos de observação,
b) aplica técnicas de observação na observação de grupos em conflito.
9. Nas páginas seguintes encontrará dois perfis de saída do que deve considerar-se
um formador.
Formador e Contexto
1. Caracterizar os sistemas de formação, com base nas finalidades e nos públicos-alvo
2. Identificar a legislação, nacional e comunitária, que regulamenta a formação profissional
3 Enunciar as competências e capacidades exigidas para a actividade de formador
Recursos Audiovisuais
1. Reconhecer as potencialidades e limitações dos meios AV, enquanto auxiliares
pedagógicos, incluindo as novas tecnologias de informação
2. Identificar, seleccionar e utilizar de forma adequada recursos audiovisuais
3. Seleccionar, conceber e adequar os meios pedagógico-didácticos, em suporte
multimedia, em função da estratégia pedagógica adoptada
Avaliação da Formação
1. Distinguir diferentes níveis de avaliação dos resultados de formação
2. Construir e aplicar instrumentos de avaliação em função dos objectivos definidos
3. Identificar as causas da subjectividade na avaliação
4. Aplicar um método sistémico evolutivo de análise dos resultados de formação
5. Propor medidas de regulação com vista à melhoria do processo formativo
Plano de Sessão
1. Identificar os princípios orientadores para a concepção e elaboração de planos de
unidades de formação
2. Planificar sessões de ensino-aprendizagem
COMPETÊNCIAS DO FORMADOR
5. TRABALHAR EM EQUIPA
Elaborar projectos em equipe;
Dirigir grupos de trabalho, conduzir reuniões;
Enfrentar e analisar em conjunto situações complexas, práticas e problemas
profissionais;
Administrar crises ou conflitos interpessoais;
COMPETÊNCIAS
Possíveis definições
EM SÍNTESE
É agora evidente que não se pode conceber uma acção de formação sem que se
pretenda atingir algo. Formar é guiar para um fim, conduzir alguém, o que
pressupõe sempre a existência de uma finalidade. É nesse sentido que os objectivos
pedagógicos se encontram, desde logo, legitimiados.
Agora que já sabe como definir Intencionalidades, convêm que comece pelo
princípio.
Antes de tudo o mais: o que entende por avaliação? O que é avaliar? Que conceito
tem de avaliação?
1. Avaliar é classificar
2. Avaliar é determinar a qualidade das técnicas de formação e dos formadores
3. A avaliação, além de um conjunto de técnicas, serve para regular/melhorar a
aprendizagem
4. Avaliar é seleccionar
5. Avaliar é determinar em que medida cada um dos objectivos foi atingido
6. Na formação do futuro não caberá a avaliação
7. A avaliação é um entrave à criatividade
1.4. APRENDIZAGENS
Boa leitura!
Apesar do muito que se tem tido e feito em nome da avaliação, alguma confusão
ainda existe quanto à própria noção de avaliação. Entre outras razões, porque
abordar o problema da avaliação é, necessariamente, tocar em todos os problemas
fundamentais da formação.
Tentemos, por isso, definir avaliação, ou, pelo menos, uma vez que muitos outros o
terão já feito, seleccionar, de entre as numerosas e diversas concepções de
avaliação, aquelas que possam funcionar como referência para o modo como
trabalhamos.
“uma operação particular da realidade (…) pela qual tomamos posição, nos
posicionamos sobre uma dada realidade à luz de uma grelha de leitura que
exprime, em relação a essa realidade, determinadas exigências”. (...) “A
avaliação é o momento do confronto projectos/resultados” (1994, p.85).
Estes são alguns dos muitos exemplos que poderíamos aqui referir e que constituem
respostas dadas à pergunta “o que é a avaliação?”. Embora as diferenças aparentem
ser pequenas, o que pode concluir-se, desde logo, é que não é fácil estabelecer um
consenso a partir do qual esta questão possa ser trabalhada.
classificar incentivar
medir desenvolver
seriar melhorar
ordenar formar
discriminar crescer
seleccionar aprender
Foi na tentativa de dar alguma ordem a este aparente caos de sinónimos que
julgámos ser importante conhecer a história da avaliação educacional, de forma a
averiguar se existe algum percurso definido, alguma lógica evolutiva ou mesmo
algum padrão a que nos possamos “segurar”.
Pois bem, o que nos foi permitido concluir, desde logo, foi que o estudo das
questões da avaliação teve como primeiras pesquisas as tentativas de obtenção uma
maior cientificidade, através do fornecimento aos práticos de modelos mais
rigorosos e eficazes. Referimo-nos aos anos 20 e anos 30, altura em que os
primeiros estudos sérios sobre a avaliação foram conduzidos, tendo como centro de
preocupações o principal instrumento de avaliação dos alunos - os exames .
Tendo como base este tipo de reflexões, foi-se instalando uma preocupação que não
era apenas crítica, mas que tinha explicitamente por objectivo contribuir para o
aperfeiçoamento da eficácia dos actos de avaliação.
O problema principal passou, como tal, a ser diminuir, senão mesmo anular, as
variações devidas a diferenças entre examinadores.
“No limite, o ideal seria fazer desaparecer o examinador para o substituir por
uma máquina” (Hadji, 1992, p.85).
5
Sintetizámos algumas dessas sugestões em SABER CONSTRUIR TESTES, documento que o ajudará a saber utilizar
adequadamente este tipo de instrumento de avaliação. Em jeito de avaliação-diagnóstico, queira realizar primeiro as
actividades constantes em DOCIMOLOGIA-ACTIVIDADE.
Este estudo do comportamento dos avaliadores, defendido por autores como Noizet
e Caverni, assentava no seguinte princípio: o avaliador compara o produto escolar
com um modelo de referência (o seu) que é constituído por:
• um produto norma (a solução prevista para a tarefa),
• um produto esperado (as expectativas existentes em relação ao aluno ou
grupo de alunos)
• e uma escala de medida (através da qual a decisão é tomada).
As divergências acontecem, afinal, porque cada avaliador tem o seu modelo de
referência, construído através da sua experiência como aluno, como professor,
através dos seus valores, das suas vivências e da sua situação particular.
Noizet e Caverni alertaram ainda para três situações frequentes e enviesadoras dos
resultados da avaliação. São elas:
• o efeito de assimilação
Caracterizado pela tendência que qualquer avaliador manifesta para
aproximar a informação que retira da prova da representação que tem do
aluno (o seu estatuto escolar, a sua origem socio-económica, a sua origem
étnica, ...). As consequências naturais deste fenómeno são a sobreavaliação
dos bons alunos, assim como a subavaliação dos maus;
• o efeito de contraste
A ordem com que as provas são avaliadas, assim como a sua sequência
poderão determinar resultados diferentes. Assim, os primeiros testes tendem
a ser sobrevalorizados e um mesmo teste é sub ou sobrevalorizado
consoante a qualidade do teste que o antecedeu.
A SUBJECTIVIDADE NA AVALIAÇÃO
Por forma a garantir mais fiabilidade no processo de avaliação, o avaliador deve procurar ter
em consideração os enviesamentos mais comuns dos processos de avaliação, por forma a
poder minimizá-los, senão mesmo evitá-los. Os erros mais frequentemente cometidos na
avaliação são:
• estereótipo: é uma forma de atribuição – quando se faz um juízo sobre um todo (por
exemplo, os ciganos) e se aplica esse juízo a todas as pessoas desse grupo, sem terem
consideração o caso concreto de cada um dos indivíduos;
• preconceitos pessoais: são opiniões acerca de grupos de pessoas (raça, religião,
género, etc) que podem afectar as avaliações;
• efeito de halo: ocorre quando a opinião pessoal do avaliador sobre o formando o
influencia na avaliação do seu desempenho;
• erro de contraste: ocorre quando o avaliador é influenciado por avaliações (muito boas
ou muito más) feitas anteriormente; se, por exemplo, o formando anterior teve uma
avaliação muito negativa, um formando médio que seja avaliado de seguida pode parecer
muito bom;
• erros por condescendência e exigência: o erro por condescendência ocorre quando o
avaliador tende a ser benevolente nas suas avaliações. Pelo contrário, o erro por
exigência, resulta da grande severidade colocada nas avaliações;
• erro da tendência central: alguns avaliadores não gostam de classificar os formandos
como bons ou maus e assim distorcem a avaliação, colocando cada formando na média,
para a generalidade dos critérios de análise considerados;
• erro de semelhança: acontece, por vezes, o avaliador ter pontos em comum com o
formando a avaliar (o mesmo clube de futebol ou partido político); este facto pode ser
responsável por uma grande identificação do avaliador com o avaliado, fazendo crer ao
primeiro que uma má avaliação do segundo quase implica uma autoavaliação negativa;
• erro de primeira impressão: ocorre quando a primeira ideia que se faz de uma pessoa
permanece imutável, mesmo após ela sofrer alterações mais ou menos profundas;
• efeito dos acontecimentos recentes: tendência para basear a avaliação nas
impressões colhidas das acções, comportamentos e desempenhos mais recentes do
avaliado;
• enviesamentos culturais: sabe-se que cada cultura valoriza determinados aspectos em
detrimento de outros. Por exemplo, a idade avançada é, normalmente, um factor
considerado negativo na avaliação de pessoas para trabalhar, na cultura ocidental. É
necessário haver consciência disso e não deixar que influencie negativamente a avaliação.
Se, de início, parecia existir uma tensão entre a avaliação contínua e a final,
rapidamente se constatou (e constata) que, na prática, elas se contaminam, na
medida em que a avaliação final pode ser, e em muitos casos é, o resultado das
inúmeras avaliações resultantes da observação em situação.
Foi-se também, progressivamente, instalando uma outra lógica que recusava a ideia
de uma avaliação que via na medida a única e exclusiva preocupação. A ideia de
base desta nova abordagem avaliativa era a de que a preocupação fundamental de
um educador deve ser a de ajudar os formandos a progredir. O contexto de
preocupações da avaliação deslocava-se, de acordo com esta perspectiva, do rigor
dos exames e do conhecimento da psicologia do examinador para o domínio do
processo de aprendizagem e dos procedimentos susceptíveis de o melhorar.
Em suma, parece poder dizer-se, como Roland Abrecht, que a motivação que subjaz
à avaliação sumativa é extrínseca. Ou seja, quem aprende, trabalha para dar gosto
a quem ensina (pela recompensa ou para fugir ao castigo), vendo-se obrigado a
esconder as suas carências para parecer tão bom formando quanto possível.
DE VOLTA AO INÍCIO …
ACTIVIDADE PRÁTICA
AVALIAR – CONCEITOS
1. Avaliar é classificar
2. Avaliar é determinar a qualidade das técnicas de formação e dos formadores
3. A avaliação, além de um conjunto de técnicas, serve para regular/melhorar a
aprendizagem
4. Avaliar é seleccionar
5. Avaliar é determinar em que medida cada um dos objectivos foi atingido
6. Na formação do futuro não caberá a avaliação
7. A avaliação é um entrave à criatividade
1 – AVALIAR É CLASSIFICAR
Nos casos da formação de qualificação (a que, à saída, atribui um estatuto sócio-
profissional de que os formandos ainda não dispunham no início), o processo
formativo necessita de terminar com uma classificação, um rótulo através do qual o
formador quantifica o resultado a que o formando conseguiu chegar. No entanto, e à
luz do quadro que atrás colocámos, julgamos consensual afirmar que esta função
não esgota a amplitude de possibilidades que a avaliação pode e deve permitir. De
facto, trata-se mesmo de uma perspectiva predominantemente selectiva,
esquecendo que a avaliação é útil
como atitude de diagnóstico e, consequentemente, como instrumento ao serviço da
própria melhoria do processo de aprendizagem.
4 – AVALIAR É SELECCIONAR
Durante muito tempo, em particular no sistema formal de ensino, a avaliação serviu
apenas para seleccionar. Resultante de processos de classificação, a partir dos quais
se hierarquiza a prestação dos formandos e se define quem segue em frente, a
selecção é, assim, um sub-produto da classificação, finalidade que já vimos atrás,
não engloba tudo o que a avaliação pode e deve querer ser.
Em cada uma das acções de formação em que nos envolvemos, deveremos
perguntar-nos se o essencial é indicar a cada formando a posição em que se
encontra, em comparação com os colegas, ou mais informá-lo do resultados dos
seus esforços, indicar-lhe caminhos de desenvolvimento, ajudá-lo a antecipar
eventuais escolhos e a construir formas de os ultrapassar. Numa palavra, melhorar
em vez de seleccionar.
Haverá ainda dúvidas quanto ao principal papel que nos cabe?
EM JEITO DE SÍNTESE …
Tal como Velazquez não se pôs de fora no famoso quadro de “As Meninas”, porque
achava que havia necessidade de o pintor se implicar no próprio acto de pintar,
também o avaliador, porque sujeito, será necessariamente parte integrante da
avaliação. Se fôssemos objectos, então sim, seríamos objectivos.
Eis porque uma visão dicotómica desta questão da objectividade é mesmo perigosa,
objectividade subjectividade
de o melhorarmos.
Mesmo no caso do exame e da necessidade da nota, o que está em causa não é
tanto medir o produto, mas mais pronunciarmo-nos sobre ele tendo como referência
critérios de aceitabilidade. No limite, o importante é saber se o produto é correcto
ou não, se passa ou não (daí o interesse na média). A nota dada não é senão uma
forma cómoda de traduzir este resultado de aceitabilidade.
Eis porque se torna importante substituir as noções de verdade (procura das
variações e das notas verdadeiras) e de objectividade (vontade de agarrar um
objecto tal como ele é), pelas de validade (a leitura da realidade deve ser defensável
de um ponto de vista objectivável) e de pertinência (coerência do conjunto de
operações).
Foi neste contexto de alargamento das próprias perspectivas sobre a avaliação que
foram surgindo outras abordagens (avaliação contínua, com a multiplicação dos
momentos, procedimentos e instrumentos da avaliação; avaliação sistemática e
permanente, exercendo o papel de controlo da execução do programa e do trabalho
do professor; avaliação não centrada na medida, por forma a ajudar os formandos a
progredir; ...).
Esta última, conhecida a partir de Scriven como avaliação formativa, permitiu uma
outra forma de olhar para a avaliação, conferindo-lhe uma dimensão humana e de
desenvolvimento que até não se considerava possível. A avaliação formativa abriu
novas janelas de oportunidades às estratégias avaliativas, permitindo-lhes servir o
próprio processo de aprendizagem e ajudando-o a ser mais eficaz.
Tal facto exigiu, por seu turno, que fossem utilizados outros instrumentos e técnicas
de avaliação, mais consentâneos com os propósitos formativos. Menos preocupados
com a medida e mais com a necessidade de apoiar o percurso de aprendizagem, foi
com naturalidade que se assistiu à emergência e importância de instrumentos
avaliativos que, pela sua própria natureza, são simultaneamente, técnicas
pedagógicas. Disso são exemplo os MAPAS CONCEPTUAIS e os PORTFOLIOS.
Queira utilizar os textos que, a esse respeito, lhe disponibilizámos. Nesses casos é
mesmo verdade o que se afirma: Diz-me como avalias, dir-te-ei como formas.
ACTIVIDADE PRATICA
DOCIMOLOGIA
INSTRUMENTOS DE AVALIAÇÃO
BOM TRABALHO!
------------------
Resposta Curta - têm por base uma questão simples à qual o formando
responde de forma breve e sem ambiguidade. Exemplos:
- Qual é o primeiro nível de avaliação do modelo de Kirkpatrick?
- Qual a designação do método pedagógico que menos actividade
suscita aos formandos?
De Completamento - perguntas estruturadas em forma de frases incompletas
com espaço(s) em branco para o formando completar.
Exemplos:
- O primeiro nível de avaliação do modelo de Kirkpatrick é ______
- O método pedagógico que menos actividade suscita aos formando é o
método _________.
VANTAGENS:
- ......................................................................................
- ......................................................................................
- ......................................................................................
DESVANTAGENS:
- ......................................................................................
- ......................................................................................
- ......................................................................................
Dos seguintes grupos de exemplos, escolha, para cada um, a pergunta que lhe
parece mais bem construída e enuncie o princípio que fundamenta a sua escolha:
EXEMPLO 1
Princípio:
EXEMPLO 2
EXEMPLO 3
EXEMPLO 4
Refira qual o erro na formulação destas questões:
2. VERDADEIRO E FALSO
VANTAGENS:
- ......................................................................................
- ......................................................................................
- ......................................................................................
DESVANTAGENS:
- ......................................................................................
- ......................................................................................
- ......................................................................................
Dos seguintes grupos de exemplos, escolha, para cada um, a pergunta que lhe
parece mais bem construída e enuncie o princípio que fundamenta a sua escolha:
EXEMPLO 1
I – Os objectivos gerais, que são distintos de finalidades,
V F
devem mencionar um comportamento observável
Princípio:
EXEMPLO 2
I – O behaviorismo teve impacte na educação. V F
II – Não pode afirmar-se que o behaviorismo
não teve impacte na educação. V F
Princípio:
EXEMPLO 3
I – À luz da teoria de Robert Mager, os objectivos
específicos devem ser definidos descrevendo
um comportamento, as condições desse compor-
V F
tamento e os critérios mínimos de desempenho.
II – Os objectivos específicos devem ser definidos
descrevendo um comportamento, as condições
V F
desse comportamento e os critérios mínimos de
desempenho.
Princípio:
EXEMPLO 4
Refira qual o erro na formulação destas questões:
1. Os Estados Unidos da América são um país novo. V F
2. A Áustria é um país pequeno.
V F
3. Todas as formações deviam ser avaliadas
sumativamente. V F
3. ASSOCIAÇÃO
Trata-se de perguntas estruturadas em torno de duas colunas de elementos,
existindo relação entre os dados de uma e outra coluna. Exemplo:
- Método Expositivo - formação assente em jogos,
simulações, casos práticos, etc.
- Método Interrogativo - provoca o distanciamento entre
formadores e formandos.
- Método Demonstrativo - adequado ao saber-fazer.
- adequado em situações onde o
- Método Activo tempo seja reduzido.
- exige materiais e equipamentos
específicos.
- sequência estruturada de questões
orientadas em função de objectivos
previamente definidos.
- a avaliação é imediata.
VANTAGENS:
-
-
-
DESVANTAGENS:
-
-
-
Dos seguintes grupos de exemplos, escolha, para cada um, a pergunta que lhe
parece mais bem construída e enuncie o princípio que fundamenta a sua escolha:
EXEMPLO 1
Formulação I
- verbo - grandeza
- advérbio de modo - grande
- substantivo - engrandecer
- adjectivo - em grande estilo
- pronome demonstrativo
- conjunção conclusiva
- locução adverbial
Formulação II
- grandeza - verbo
- grande - advérbio de modo
- engrandecer - substantivo
- em grande estilo - adjectivo
- pronome demonstrativo - conjunção conclusiva
- locução adverbial
Princípio:
EXEMPLO 2
Formulação I
- Behaviorismo - Aprender é um processo pessoal, de índole vivencial.
- O formador deve utilizar recompensas e punições.
- Cognitivismo - A aprendizagem resulta num comportamento observável e
mensurável.
- Humanismo - O formando é um agente activo, criador da sua evolução.
- O clima de aprendizagem deve assentar em liberdade,
empatia, criatividade e espontaneidade .
- A aprendizagem consiste numa mudança na maneira
como
ele percebe os acontecimentos e lhes atribui significado.
- A aprendizagem tem por base um mecanismo estímulo-
resposta.
Formulação II
- Método Expositivo - formador deve utilizar recompensas e
punições.
- Behaviorismo - provoca o distanciamento entre
formadores e formandos.
- Avaliação formativa - visa a regulação.
- descrito através de comportamentos
observáveis.
- Objectivo específico - visa a regulação das aprendizagens.
- deve ser utilizado quando o tempo é
pouco.
Princípio:
4. RESPOSTA MÚLTIPLA
Consistem em enunciados de uma questão ou de uma afirmação incompleta
(habitualmente designado por tronco ou ainda raiz), a que se seguem várias
alternativas de resposta. Das várias respostas disponibilizadas, apenas uma
está correcta (a chamada resposta, sendo as restantes conhecidas como
distractores).
Exemplos:
VANTAGENS:
-
-
-
DESVANTAGENS:
-
-
-
Dos seguintes grupos de exemplos, escolha, para cada um, a pergunta que lhe
parece mais bem construída e enuncie o princípio que fundamenta a sua escolha:
EXEMPLO 1
Formulação I
Por forma a poder constituir uma alavanca ao serviço do desenvolvimento das organizações,
Princípio:
EXEMPLO 2
Formulação I
Quando o tempo é factor condicionador de uma formação, qual o método pedagógico mais
adequado?
Formulação II
Quando o tempo é factor condicionador de uma formação, qual o método pedagógico que nunca é
inadequado?
EXEMPLO 3
Formulação I
No actual paradigma civilizacional, o principal factor de desenvolvimento tem que ver com:
Formulação II
No actual paradigma civilizacional, o principal factor de desenvolvimento tem que ver com:
Princípio:
EXEMPLO 4
Formulação I
Repare no espaço deixado em branco na frase que vai ler. Procure, entre as palavras
apresentadas a seguir, aquela que preenche, correctamente, esse espaço.
A – salvar B - pintar
C – lavar D – demolir
Formulação II
(O mesmo tronco)
A – reconstituir B - proteger
C – reconstruir D – demolir.
Princípio:
5. RESPOSTA LIVRE
6. RESPOSTA ORIENTADA
Numa composição que não exceda três páginas, expõe, em linhas gerais,
alguns problemas dos países do Terceiro Mundo, cingindo-te às seguintes
condições:
- países do continente africano
- áreas de problemas: alimentação, saúde, habitação
VANTAGENS:
-
-
-
DESVANTAGENS:
-
-
-
Dos seguintes grupos de exemplos, escolha, para cada um, a pergunta que lhe
parece mais bem construída e enuncie o princípio que fundamenta a sua escolha:
EXEMPLO 1
Princípio:
EXEMPLO 2
Princípio:
EXEMPLO 3
Formulação I
1. Caracterize a actual Sociedade do Conhecimento ao nível das competências
requeridas no mercado de trabalho.(5 valores)
2. Refira 3 consequências para as empresas do processo de envelhecimento
demográfico. (2 valores)
Formulação II
3. Caracterize a actual Sociedade do Conhecimento ao nível das competências
requeridas no mercado de trabalho.
4. Refira 3 consequências para as empresas do processo de envelhecimento
demográfico.
Princípio:
EXEMPLO 4
É uma prática corrente propor várias perguntas para que os formandos possam
escolher apenas uma. Que comentários lhe sugere esta forma de avaliar?
Desde logo, convém que tenha presente que não existe instrumento de avaliação
que lhe permita avaliar a realidade de cada formando de uma forma absolutamente
fiel. Cada instrumento tem as suas vantagens e também as suas limitações. O que
significa que, se um formador optar por se socorrer de forma repetida e exclusiva de
um só tipo de instrumento de avaliação poderá correr o risco de não conseguir ver o
formando sob todos os ângulos necessários e, como tal, formular juízos incorrectos
acerca dos alunos.
Uma primeira conclusão possível é a de que a questão não está tanto em utilizar ou
não os testes, mas mais na forma como são utilizados.
Os testes são apenas uma das formas possíveis ao alcance dos formadores de forma
a recolher informações relativamente ao grau de aprendizagem dos seus formandos.
A sua utilização deve estar submetida, desde logo, a uma preocupação: saber quais
as aprendizagens que se deseja que os formandos realizem; isso permitirá decidir
qual a melhor forma de as poder evidenciar. Por outras palavras, os instrumentos de
avaliação devem estar em consonância com os objectivos e conteúdos da formação,
ou seja, com aquilo que se pretende que os formandos aprendam.
Tendo em conta que, cada vez mais, a formação se dirige a aprendizagens de tipo
integrado, com vista a saber resolver problemas do quotidiano (a formação visa o
saber agir característico de alguém competente; ver INTENCIONALIDADES FORMATIVAS),
facilmente se poderá concluir que os testes continuam a constituir uma forma de
avaliação, mas não a única.
1.1.13.1. AS TIPOLOGIAS
Uma das diferenças entre eles tem que ver com o facto de os primeiros – objectivos
– não terem aquilo que se designa por intervalo de correcção. Ou seja, a resposta
ou está completamente correcta ou completamente incorrecta, não havendo lugar a
situações intermédias6.
No caso dos testes de respostas abertas (também designadas por respostas longas
ou de ensaio), o critério de correcção não é passível de precisão absoluta, sendo por
isso necessário utilizar um intervalo de correcção.
6
Como veremos mais adiante, há, pelo menos, uma situação em que esta situação não se
verifica. No caso dos testes de resposta curta ou de completamento, uma das dificuldades na
sua correcção reside no facto de as respostas incompletas ou não completamente previstas
serem difíceis de avaliar (classificar).
Há ainda uma outra distinção entre tipos de testes e que tem que ver com as
tarefas solicitadas aos formados. Assim, teremos testes de papel e lápis (aqueles
a que nos temos vindo a referir) ou também
os testes de desempenho, que exigem a realização concreta de uma tarefa. Este
último tipo de testes é habitualmente utilizado no ensino profissional, artístico e
desportivo, bem como em áreas do saber com componentes práticas ou
laboratoriais e, nestes casos, o desempenho dos formandos pode ser avaliado
através de testes ou através da observação, mediante listas de verificação.
Como foi já sobejamente analisado, parece haver algum consenso em torno das
limitações que este tipo de leitura dos objectivos pedagógicos gera,
designadamente, o facto de:
- se poder transformar a aprendizagem em adestramento;
- os critérios serem absolutos: de sucesso ou fracasso;
- se revelarem desadequados para situações que ultrapassam o treino (as
aprendizagens relacionadas com a criatividade, a análise de problemas, …),
onde os comportamentos e as atitudes não são facilmente divisíveis. Nestes
casos, como em muitos outros, o todo (objectivos mais gerais e abrangentes)
é mais do que a mera soma das partes (o domínio das aprendizagens é visto
como adquirido quando os formandos demonstram poder desempenhar os
comportamentos definidos nos objectivos específicos isoladamente
considerados)
- o interesse se centrar exclusivamente no produto, ignorando o próprio
processo de aprendizagem.
Não convém que se fique com a ideia de que os testes não desempenham um papel
positivo no processo de formação. Pelo contrário, a sua utilização continua a fazer
sentido, sobretudo quando têm propósitos formativos, ou seja, quando constituem
oportunidades para que os formandos demonstrem o que, de facto, sabem e são
capazes de fazer, quando proporcionam oportunidades de aprendizagem e,
portanto, se assumem como elementos reguladores do processo de aprendizagem,
fornecendo informações a formadores e formandos quanto à forma como aquele
está a decorrer.
SUGESTÃO DE ACTIVIDADE
7
Ver AVALIAR APRENDIZAGENS – CONCEITOS.
1.1.13.2. TESTES
VANTAGENS
• Facilitam uma ligação clara aos objectivos;
• Produzem dados escritos para referência posterior;
• Podem servir para melhorar o desempenho dos alunos;
• Podem informar, diagnosticar, motivar, disciplinar e conduzir ao sucesso;
• São uma afirmação pública e concreta de competência.
CRÍTICAS
• São de iniciativa exterior ao formando;
• Estão, na maioria dos casos, desgarrados do processo de aprendizagem;
• Promovem a memorização;
• Não avaliam, na maior parte dos casos, a capacidade de pensar criticamente;
• Diminuem a auto-estima dos formandos;
• Causam stress e ansiedade;
• Não acrescentam muito mais àquilo que o professor já sabe de cada aluno.
CONSIDERAÇÕES
Desde logo, convém ter presente que uma avaliação fortemente baseada em
testes é inadequada para dar resposta a formações que têm como referencial
competências, saber-agir e resolução de problemas.
Daí que a sua utilização seja tanto mais benéfica quanto mais seja feita associada
a aulas normais e não de exame (ou seja, ao serviço de avaliações de tipo. Para
além disso, sugere-se que se incluam questões que levem os formandos a
interpretar, reflectir, explicitar raciocínios e elaborar explicações (e não apenas dar
a resposta certa)
1. RESPOSTA CURTA
Têm por base uma questão simples à qual o formando responde de forma breve
e sem ambiguidade. Exemplos:
- Qual é o primeiro nível de avaliação do modelo de Kirkpatrick?
- Quem escreveu os Maias?
- Quem são os autores de “As 22 leis sagradas do Marketing”?
- Qual a designação do método pedagógico que menos actividade suscita
aos formandos?
2. COMPLETAMENTO
4. Não retirar frases textuais dos manuais entregues aos formandos, sob pena de a
avaliação ser um teste à memorização e não uma avaliação do que foi
aprendido.
5. Tornar cada item independente dos outros – doutra forma, os formandos que
não responderem a algumas questões de que dependem outras poderão ver-se
excessivamente penalizados.
3. VERDADEIRO-FALSO
3. Cada item deve conter uma única afirmação (por forma a verificar se a
afirmação é totalmente falsa ou totalmente verdadeira).
FORMULAÇÃO ERRADA:
Os objectivos gerais, que são distintos de finalidades,
devem mencionar um comportamento observável V F
FORMULAÇÃO CORRECTA:
Os objectivos gerais são distintos de finalidades. V F
Os objectivos gerais devem mencionar um
V F
comportamento observável
8
Há formadores que, por forma a evitarem o acaso na resposta, estruturam a resposta com
base em verdadeira-V (atribuindo 2 pontos se a afirmação for verdadeira e subtraindo 2
pontos caso seja falsa), provavelmente verdadeira-PV (1 ponto caso seja verdadeira e –1
caso seja falsa), não sabe-NS (0 pontos), provavelmente falsa-PF (subtraindo um ponto no
caso de ser verdadeira e conferindo um ponto se for falsa) e falsa-F (menos 2 pontos se for
verdadeira e 2 pontos atribuídos caso seja falsa). Nestes casos, pode acontecer que um teste
tenha classificações negativas (abaixo de zero).
FORMULAÇÃO CORRECTA:
O behaviorismo teve impacte na educação. V F
FORMULAÇÃO CORRECTA:
De acordo com as actuais teorias psicopedagógicas, V F
o melhor método pedagógico é o que convida à actividade.
4. ASSOCIAÇÃO
1. O número de elementos da coluna do lado direito (as respostas) deve ser inferior
ao da do lado esquerdo (as premissas), de forma a evitar que o formando,
associados os primeiros elementos, saiba os restantes por exclusão de partes.
Por princípio, poder-se-á estabelecer que a coluna esquerda deve conter quatro
elementos e a direita sete9. Como alternativa, o avaliador deverá referir, nas
instruções de preenchimento, que as afirmações da coluna direita podem ser
utilizadas mais do que uma vez.
9
Com 4 premissas à esquerda e 7 respostas à direita, a probabilidade de acertar por acaso na
primeira associação é de 14%. Se for ao contrário, os sete elementos à esquerda e 4 à
direita, a probabilidade aumenta para 25% logo na primeira associação, 33% na segunda (em
que já só escolhe entre 3 elementos) e 50% na terceira.
mentos observáveis.
- Objectivo específico - visa a regulação das aprendizagens.
- deve ser utilizado quando o tempo
é pouco.
FORMULAÇÃO CORRECTA
- Behaviorismo - Aprender é um processo pessoal, de
índole vivencial.
- Cognitivismo - O formador deve utilizar recompensas e
punições.
- Humanismo - A aprendizagem resulta num
comportamento observável e mensurável.
- O formando é um agente activo, criador
da sua evolução.
- O clima de aprendizagem deve assentar
em liberdade,
empatia, criatividade e espontaneidade .
- A aprendizagem consiste numa mudança
na maneira como
ele percebe os acontecimentos e lhes
atribui significado.
- A aprendizagem tem por base um
5. RESPOSTA MÚLTIPLA
II. Das frases que se seguem, escolha aquela que não completa a afirmação “Uma das limitações da
avaliação de satisfação/reacções (1º nível em Kirkpatrick) tem que ver com o facto de ...”.
1. A base do item deve ser redigida de forma a constituir, por si só, um problema
claramente definido e descrito de forma tão completa quanto o possível, por
forma a evitar que as alternativas sejam excessivamente longas.
FORMULAÇÃO ERRADA:
Por forma a poder constituir uma alavanca ao serviço do desenvolvimento das organizações,
FORMULAÇÃO CORRECTA:
Por forma a poder constituir uma alavanca ao serviço do desenvolvimento das organizações, a
avaliação de desempenho
FORMULAÇÃO CORRECTA:
Quais são os níveis de avaliação contemplados no modelo de avaliação de Kirkpatrick?
5. Construir os itens de forma a que apenas uma resposta esteja correcta ou, como
alternativa, mais correcta do que as restantes.
11. A alternativa verdadeira ou mais correcta deve ser colocada de forma aleatória
ao longo das várias questões, por forma a que cada uma das respostas tenha
igual probabilidade de ser a verdadeira10.
10
Não raro, em itens de resposta múltipla com 4 alternativas de resposta, os avaliadores
tendem a optar pelas segunda e terceira posições (em casos mais raros, a quarta) para a
colocação da resposta correcta, raramente utilizando a primeira posição. Por forma a que o
formando se aperceba disso, convém adoptar um processo aleatório.
Exemplos:
Resposta Livre
Expõe as razões que levam à elaboração de estudos de impacte ambiental antes
de se proceder à construção de estradas ou complexos habitacionais que
introduzem alterações sensíveis à paisagem.
(A resposta será apreciada com base no número de razões apontadas, na
correcção científica de cada razão invocada, na relevância das razões
escolhidas).
Resposta Orientada
Numa composição que não exceda três páginas, expõe, em linhas gerais, alguns
problemas dos países do Terceiro Mundo, cingindo-te às seguintes condições:
- países do continente africano
- áreas de problemas: alimentação, saúde, habitação
(A resposta será apreciada com base nos seguintes critérios: a) identificação de
problemas comuns aos diferentes países do continente em análise, b) correcção
dos factores expostos, dentro de cada área de problemas, c) relevância dos
factores seleccionados para a abordagem do tema e d) organização da resposta)
3. A pergunta deve ser formulada de modo a obter respostas que incidam sobre a
aprendizagem que se pretende avaliar. Para o efeito, o formador poderá utilizar
perguntas que indiquem ao formando as condições que a resposta deve
satisfazer e/ou explicitar os critérios de avaliação, orientando assim para a
aprendizagem que deseja que ocorra. Os critérios de avaliação fornecidos no
âmbito da própria pergunta permitem ao formando saber o que se espera dele,
minimizando-se, assim, a hipótese de se mover numa direcção diferente da que
o professor tem em mente e que aquele não pode adivinhar.
FORMULAÇÃO ERRADA:
Exponha, numa breve composição, as consequências da poluição do ar e da
água para os seres humanos.
FORMULAÇÃO CORRECTA:
Exponha, numa composição que não exceda duas páginas, as consequências da
poluição do ar e da água para os seres humanos (a resposta será avaliada em
termos (1) da clareza de exposição e (2) da sequência lógica das ideias
apresentadas).
6. As respostas devem ser classificadas sem se saber quem é o seu autor. Também
aqui pode ocorrer o efeito de halo e o formador ser arrastado pela opinião prévia
que tem do formando, ficando desse modo afectada a imparcialidade do juízo.
11
Para curiosidades adicionais, valerá a pena consultar Valadares e Graça (1998) e Ribeiro
(1989).
MATRIZ OBJECTIVOS-CONTEÚDOS
Técnicas de mediação e
de tratamento de dados 10
Incertezas nas
mediações directas e 10
indirectas
Forças aplicadas em
sólidos. Equilíbrio de 10
sólidos
Densimetria. Densidade
de sólidos e de líquidos 5
Mudanças de fase.
Entalpias de fusão e de 10
valorização
Leis fundamentais da
hidrostática, de Pascal e 5
de Arquimedes
% 20 35 35 10 100
* ACC – Altas Capacidades Cognitivas (Análise, Síntese e Avaliação)
In Valadares e Graça, 1998, p.139
1.1.14.1. CONCEITOS
A que aqui nos servirá de referência para a abordagem dos mapas conceptuais é a
perspectiva de Ausubel12. Para este autor, aprender consiste em compreender o
significado do objecto de estudo
12
Para um conhecimento mais profundo da teoria de Ausubel ver
HTTP://WWW.XTEC.ES/~CBARBA1/TEORIAAUSBEL.HTM).
O QUE SÃO?
• CONCEITOS
Designação de um conjunto de características relacionadas com um acontecimento ou
um objecto. Trata-se, afinal, de um termo que designa uma regularidade nos
acontecimentos ou nos objectos. Um acontecimento é um evento qualquer, real,
potencial ou imaginário. Objecto é uma realidade material que pode ser percebida
pelos sentidos. Por exemplo, avaliação e formativa são dois conceitos.
• PROPOSIÇÕES
Unidade semântica resultante da ligação, por palavras, entre dois ou mais conceitos.
São frases resultantes da ligação entre conceitos. Trata-se de unidades semânticas
com valor de verdade, pois afirmam ou negam açgo de um conceito, ultrapassando,
assim, a sua mera denominação. Por exemplo, avaliação pode ser formativa é uma
proposição.
Este mapa conceptual demonstra bem a simplicidade e eficácia de uma técnica que,
sendo graficamente atractiva e funcionalmente simples, permite estabelecer relações
entre ideias e, desse modo, ajudar formandos e formadores a ver os significados dos
materiais de aprendizagem, a penetrar na estrutura e no significado do conhecimento
que procuram compreender.
São, por isso, uma excelente forma de formação e de aprendizagem, podendo ser
utilizados desde o nível de instrução mais básico até à complexidade de algumas áreas
do saber no âmbito do ensino universitário.
Para saber ainda mais, queira realizar a aventura na web que lhe propomos com
MAPAS – WEBQUEST.
ACTIVIDADE PRÁTICA
MAPAS CONCEPTUAIS – WEBQUEST
AVENTURA NA WEB
OBJECTIVOS
Saber utilizar mapas conceptuais enquanto estratégias pedagógicas capazes de
promover aprendizagens significativas
FASES DO TRABALHO
HTTP://MAPACONCEPTUAL.NO.SAPO.PT/SOBRE.HTM
HTTP://WWW.MINERVA.UEVORA.PT/RTIC/EACOMPANHADO/MAPAS.HTM
HTTP://WWW.UNIV-
AB.PT/CESTUDOS/CENTROS/CECME/EVENTOS/J%20VALADARES/APRENDIZAGEM_SIGNI
FICATIVA_DA_CIENCIA.PPT
HTTP://WWW.CLUBEDOPROFESSOR.COM.BR/DIARIODEBORDO/4PARADA.HTML
QUEM OS INVENTOU?
O seu criador foi Joseph Novak, um dos responsáveis pelo Institute for
Human and Machine Cognition (WWW.IHMC.US) e autor de um livro que,
rapidamente, se transformou numa referência – Aprender a Aprender
(1988).
ainda constituir uma excelente base para a exposição de conteúdo, facilitando, dessa
forma, a comunicação formador/formandos ao permitir uma estrutura visual
organizada e, como tal, uma mais fácil integração da informação. O exemplo que
mostramos, com a sequência de uma investigação científica tal como a sugere Quivy
ilustra bem o que afirmamos.
2. elemento de diagnóstico
Referimo-nos à possibilidade de realizar uma avaliação-diagnóstico, antes de se dar
início a uma sequência formativa, recolhendo informações quanto aos conhecimentos
dos formandos, ao modo como se encontram organizados ou ainda quanto a possíveis
equívocos que tenham. Esta estratégia revela-se extraordinariamente útil para
conceber percursos formativos adequados às necessidades e características
específicas dos formandos.
3. elemento de avaliação
São poderosos instrumentos de avaliação:
- formativa, pois permite negociar conceitos e o entendimento sobre eles,
identificar erros na construção de significados e proceder às necessárias correcções.
- sumativa, leia-se classificação, pois permite avaliar todos os níveis do domínio
cognitivo de Bloom, do conhecimento à avaliação. Um exemplo do que afirmamos é a
grelha de avaliação de mapas conceptuais que lhe disponibilizamos (ver AVALIAÇÃO DE
MAPAS).
1. tomada de consciência
Já nos havíamos referido a esta função quando demos conta da utilidade, para o
formador, do mapa conceptual como elemento de avaliação-diagnóstico. Antes de dar
início ao processo de formação, o formando pode elaborar um mapa onde ilustre os
conhecimentos de que já dispõe e o modo como estes se encontram organizados.
4. facilitador da memorização
De facto, são ferramentas pedagógicas de enorme utilidade para facilitar a
persistência da memorização – significativa.
Os mapas conceptuais são ainda:
• uma excelente forma de extrair significados de textos
Saber ler de forma eficaz não é tão comum quanto seria de esperar. E, no entanto, a
leitura é um meio muito útil de aprender significados. Os mapas podem ser utilizados
como forma de fazer entrar os formandos nos textos (com um mapa prévio da
responsabilidade do formador que estruture a leitura, evite concepções alternativas –
significados menos correctos por parte do formando – e que possa, caso isso se revele
importante, ser completado e detalhado pelo formando após a leitura). Podem
igualmente ser elaborados pelos formandos no final da leitura como forma de
evidenciarem os significados que daí retiraram.
• um modo fácil e eficaz de tomar notas durante uma apresentação;
• um apoio à preparação de trabalhos escritos e/ou apresentações
Uma vez que contribui para organizar as ideias e combater o síndrome da página em
branco.
• uma excelente ajuda nos momentos de chuva de ideias, em dinâmicas de
grupos;
• um apoio à planificação de processos e programas.
13
Referimo-nos aqui a mapas conceptuais-resumo que sejam elaborados pelos formandos e que, dessa
forma, evidenciem o que foi aprendido. Se se tratar, pelo contrário, de mapas elaborados pelo formador,
então corre-se o risco de não conseguir promover senão aprendizagens de tipo memorístico.
Não havendo uma forma óptima de introduzir mapas conceptuais, aqui ficam algumas
sugestões para formadores:
4. Convide os formandos a desenhar os seus mapas várias vezes, uma vez que o
primeiro mapa revela sempre deficiências. Desde logo, na apresentação, com erros
semânticos, ortográficos, limpeza, ordenação, … Para além disso, porque a
experiência demonstra que a segunda versão do mesmo mapa elaborada pelo mesmo
formando se revela sempre mais explícita e completa, corrigindo falhas prévias como
conceitos repetidos ou associados em lados diferentes do mapa, associações que não
estão completamente inteligíveis, utilizações duvidosas de significados, … Para além
disso, convém ainda que esta redefinição/reelaboração/revisão dos mapas se efectue
periodicamente. Ou seja, ao longo de uma formação pode mesmo pedir-se que, para
um mesmo tema, seja elaborado um mapa no início da formação (avaliação-
diagnóstico) que seja acompanhado e revisto ao longo de toda a formação, com o
grau de periodicidade que se entender pertinente (por exemplo, em função da
cadência de entrada de novos conceitos, ideias ou formas de abordagem no processo
formativo) Esta sequência pode terminar, caso seja necessária uma classificação final,
num mapa que constitua a versão final e que seja alvo de avaliação de tipo sumativo.
Consulte ainda o texto MAPAS – PLANO DE SESSÃO, onde terá indicações concretas para
iniciar os seus formandos na elaboração de mapas conceptuais.
14
Adaptado de NOVAK, Joseph, (1999), Aprender a aprender, Lisboa, Plátano, pág. 48 a 50
4. Agora liste palavras como são, onde, o, é, então, portanto, com, vai,
influencia, … Pergunte aos formandos que imagens se formam nas suas
mentes ao ouvirem estas palavras. São palavras utilizadas no discurso oral e
escrito mas que não traduzem conceitos; por isso, são designadas palavras
de ligação. Utilizam-se, juntamente com os conceitos, para construir
expressões que têm significado.
7. Peça aos alunos que construam algumas frases curtas da sua autoria, que
identifiquem as palavras de ligação e os conceitos e digam se estes se referem
a objectos ou acontecimentos.
10. Escolha um documento de uma temática que esteja a abordar com os seus
formandos (uma página é suficiente) e distribua fotocópias pelos formandos.
Peça aos formandos que o leiam e identifiquem os conceitos-chave
(normalmente, encontram-se 10 a 20 conceitos relevantes numa página de
livro de texto), ou seja os conceitos necessários para se entender o significado
do texto.
11. Depois de estes conceitos terem sido identificados, prepare com eles uma lista
no quadro ou projecte-a com o vídeo-projector e discuta com os formandos
qual é o conceito mais importante, qual é a ideia mais inclusiva do texto.
12. Coloque o conceito mais inclusivo no topo de uma nova lista ordenada de
conceitos e reordene os conceitos da primeira lista por grau decrescente de
generalidade e inclusividade. Peça ajuda aos formandos para esta
reordenação: nem sempre haverá consenso, mas não é costume surgirem
diferenças de opinião insanáveis. Dê conta de que a divergência de opiniões
pode mesmo ser vista como uma oportunidade, pois sugere que há mais do
que uma maneira de entender o significado de um texto. Realce o facto de os
mapas construídos hierarquicamente nos ajudarem a abraçar significados
conceptuais mais específicos nos domínios de conceitos mais amplos, mais
gerais.
13. Comece agora a elaborar um mapa com base na lista ordenada. Nesta fase, os
formandos devem ser incentivados a participar, sugerindo palavras de ligação
15. a maior parte dos casos, os primeiros mapas apresentam erros, de estrutura e
organização ou mesmo de construções semânticas. Peça-lhes que, em
conjunto, se proceda á reelaboração do mapa, explicando-lhes que, por vezes,
é necessário redesenhar elaborar três e quatro vezes um mapa antes de se
poder conseguir uma boa representação dos significados preposicionais.
17. Peça agora aos formandos para, com base noutro material sugerido por si ou
escolhido por eles, repetirem sozinhos os passos 10 a 16 (em grupos de dois
ou três).
15
A utilização de softwares específicos como o CMAPTOOLS permite que a construção de um
mapa seja feita sem condicionalismos de qualquer tipo no que diz respeito à necessidade de
reconstruir, experimentar, redesenhar, … (pode fazer-se o download através de WWW.IHMC.US.
19. Utilize a grelha de avaliação dos mapas para fazer eventuais comentários aos
mapas, tendo sempre presente que vale a pena dar ênfase aos aspectos
positivos e evitar relevar as críticas negativas.
Para além do interesse que os mapas conceptuais podem ter como instrumento de
avaliação-diagnóstico e, obviamente, formativa, no sentido em que são
instrumentos utilizados ao serviço da aprenizagem, também podem ter uma função
sumativa (classificadora). Aqui apresentamos uma hipótese possível de proceder à
classificação de um mapa.
16
NOVAK, Joseph, (1999), Aprender a Aprender, Lisboa, Plátano, p. 52 a 55
57 pontos
1.1.15. PORTFOLIOS
Num contexto de preocupações que reconhece o carácter redutor dos testes como
instrumentos de avaliação, e tendo em conta a adesão crescente às preocupações de
tipo formativo na avaliação, é natural que cresça a adesão a instrumentos de
avaliação de espectro mais amplo e que contribuam, eles próprios, para as
aprendizagens a promover.
Não será de mais referir que este tipo de capacidades e aptidões está na base do
perfil de competências de qualquer profissional, pois não é imaginável um conteúdo
profissional onde o seu responsável não seja obrigado a acrescentar valor.
Acontece, porém, que a formação nem sempre tem em conta esta abrangência de
interesses e de preocupações e que a avaliação, em particular, é mais utilizada ao
serviço da inibição da criatividade e do controlo do adquirido do que propriamente
com o propósito de servir o próprio acto de aprender. Os conhecimentos ditos
objectivos sobrepõem-se, não raro, a tudo o mais, sendo a avaliação um processo a
que o formando é alheio, a não ser na condição de arguido.
O QUE É UM PORTFOLIO?
17
Ver INTENCIONALIDADES FORMATIVAS.
PORTFOLIO DOSSIER
CONSIDERAÇÕES FINAIS
Ela implica, da parte de todos os intervenientes, que se planifique muito bem o que
se pretende, se organize adequadamente como se vai conduzir o processo, que se
fundamente a selecção de trabalhos a incluir, bem como um acompanhamento
constante, com vista a poder regular e rever o que for menos conseguido.
Se assim não for, há elevadas probabilidades de os portfolios não serem mais do que
um sítio onde se despejam, com a regularidade possível, os trabalhos que se vão
realizando, à espera do fim da formação, altura em que serão avaliados
sumativamente.
HTTP://EAPRENDER.IG.COM.BR/GESTAO.ASP?REGSEL=59&PAGINA=4#MATERIA
HTTP://W3.DES.MIN-EDU.PT/DOWNLOAD/APOIO_CURR/TEMA1/AV_ES/TEXTO(26).PDF
HTTP://WWW.PROFISSAOMESTRE.COM.BR/SMU/SMU_VMAT.PHP?S=501&VM_IDMAT=1441
Página onde se encontra uma reflexão sobre as diferentes preocupações com a avaliação,
contextualizando, assim, a explicação quanto à utilização de portfolios.
HTTP://WWW.PPGIA.PUCPR.BR/PROJETOS/AGP/PESQUISAS.HTML
1. Todas as frases que se seguem podem ser usadas para caracterizar um objectivo
pedagógico, EXCEPTO UMA. Indique qual.
Resposta correcta: B
A – comportamento
B – comportamento e critério
C – comportamento e critério
D – comportamento
E – comportamento
F – comportamento e critério
G–
H – comportamento
I - comportamento
Impacte
Transferência
Aprendizagens
Satisfação/Reacções
18
Há mesmo alguns estudos que atestam que, a não serem devidamente acauteladas algumas condições básicas, um
ano após o término da formação, apenas 10 a 15% do que é aprendido na formação pode estar a ser efectivamente
transferido para o contexto de trabalho. Ou seja, se não forem acauteladas algumas condições, 85 a 90% do que é
aprendido em sala pode não ser aplicado no desempenho profissional.
Transferência Transferência
Baixo risco de aceitável óptima
fracasso na
transferência
Manutenção
inconsciente
Manutenção
consciente
Transferência
parcial
Início
Intenção de
Alto risco de transferir
fracasso na
transferência
Tempo decorrido
Será, por isso, fácil de ver que o fenómeno da transferência deve ser visto
enquanto processo pois, uma vez a formação terminada, alguns formandos
experimentam alguns dos novos conhecimentos e capacidades, outros praticam-
nos, outros descontinuam o seu uso e há mesmo quem nem os utilize de todo.
Convém ter presente, a este respeito, que o risco de insucesso na transferência é
maior nas primeiras fases.
Os inúmeros artigos que abordam esta questão elegem alguns factores como os
mais decisivos para que a transferência possa não ocorrer. De entre eles, são de
destacar:
Clima organizacional
O efeito negativo de um clima organizacional e a incapacidade dos
supervisores (e dos colegas) para encorajar e reforçar a aplicação da
formação no trabalho é o factor de inibição da transferência mais citado.
Design da formação
Referimo-nos aos conteúdos dos cursos, por vezes muito teóricos ou não
suficientemente práticos, em conflito com os valores da organização ou
pouco sintonizados com os perfis de competências
Metodologias de formação
Este factor tem a ver com métodos pouco apropriados de assegurar a
formação. A falta de credibilidade do formador é também factor de inibição
da transferência.
O quadro da página seguinte ilustra bem os vários factores que podem ter
relevância o processo de transferência e, dessa forma, ajudar formadores,
coordenadores e formandos a prevenir aqueles casos em que o investimento em
formação se vê comprometido, apesar de os formandos terem referido o seu
agrado (nível 1) e de os formadores terem constatado aprendizagens (nível 2).
Contexto Contexto
formativo Intenção de transferir de trabalho
Figura 2
Desde logo, deixando claro que a avaliação da transferência é bem mais do que
esperar pelo final de uma formação para medir o que os formandos utilizam ou não
na sua função daquilo que aprenderam.
É nesse contexto que importa saber o que pode o formador fazer no sentido de
maximizar as possibilidades de transferência. Antes, durante e após a formação.
Vejamos como.
ANTES
DURANTE
DEPOIS
O Plano de Acção pode ser elaborado no final de cada módulo, no final do curso, em
momentos entre conteúdos considerados decisivos ao longo do curso ou sempre
que haja áreas específicas de competências para as quais os formadores achem
necessária a elaboração deste documento.
EM SUMA,
Terminada que está a análise dos factores que interferem com o processo da
transferência e sugeridas formas de a promover, importa agora saber que
mecanismos podem ser utilizados no sentido de recolher informações que possam
elucidar quanto ao fenómeno da transferência.
19
A auto-avaliação de mudanças comportamentais implica a existência de um referencial, de um modelo, em relação
ao qual se fazem as comparações. Este tipo de instrumento apresenta os problemas da desejabilidade social, ou seja,
torna-se difícil averiguar, a partir da resposta do formando, se ele afirma o que de facto é ou apenas o que ele gostaria
que fosse. Esta limitação pode ser compensada com hetero-avaliações adicionais (por exemplo, recorrendo também à
avaliação da chefia sobre as mudanças de comportamento do formando no desempenho da função).
OBSERVAR OU NÃO?
1. IDADE
Quanto mais jovens os observados, menos reactividade ocorrerá.
2. TEMPO
O problema da reactividade diminui com o tempo de observação.
3. TIPO DE GRUPO
Da natureza dos grupos pode depender o grau de reactividade (os mais
competitivos são mais afectados pela presença dos observadores). Por
exemplo, observar o desempenho de gestores no decurso de entrevistas de
avaliação de desempenho não só altera o comportamento dos observados,
como pode mesmo ser considerada uma invasão de privacidade. Em
contrapartida, observar operários a lidar com máquinas pode não gerar tantos
problemas de reactividade e ser mesmo uma excelente forma de avaliar se
aprenderam as necessárias competências
objecto.
Resumindo,
OBSERVAÇÃO
Observação do comportamento das pessoas e do trabalho
Vantagens Desvantagens
1.1.17. ENTREVISTAS
ENTREVISTAS
O entrevistador coloca perguntas abertas com um guião pré-definido
Vantagens Desvantagens
1.1.18. QUESTIONÁRIOS
Resumindo,
QUESTIONÁRIOS
Perguntas dirigidas ao indivíduo, sob a forma de escalas pré-elaboradas,
de resposta fechada
Vantagens Desvantagens
Para além disso, as avaliações de desempenho poderão ainda ser completadas com
observações e entrevistas.
São uma metodologia de recolha e análise de dados com enorme utilidade naqueles
casos em que se torna imperioso compreender o “como” e o “porquê”.
Por exemplo, pode ser importante saber como a formação está a ser utilizada no
departamento Y, o que obtém os melhores resultados, e comparar essas
informações com o que está a acontecer no departamento X, também beneficiário
da formação, mas com os piores índices de desempenho da empresa.
Os estudos de caso podem revelar informação adicional não directamente
relacionada com a formação e que pode ser extraordinariamente útil. Socorrendo-
nos de novo do exemplo anterior, os avaliadores podem vir a descobrir que a
X, facto que, adicionado ao que já se sabe sobre a formação, pode ter contribuído
para o seu sucesso.
Os Planos de Acção têm ainda a vantagem de permitir ao avaliador saber por que
razão os indivíduos não passam à prática tudo o que se propuseram. Por outras
palavras, facilitam a recolha de importantes informações quanto a obstáculos de
transferência.
OBJECTIVOS
• Os objectivos são claros e não geram ambiguidade?
• A consecução dos objectivos significa que todas as necessidades de
formação detectadas foram satisfeitas? Ou será ainda necessária alguma
formação on-job?
• Até que ponto estão as chefias directas dos formandos familiarizadas com os
objectivos do programa? Como estão a tomá-los em conta?
ESTRUTURA DO PROGRAMA
• O programa está estruturado com base em que princípios?
• Há um equilíbrio satisfatório entre prática, reflexão e teoria?
• A duração do programa e a sua relação com a duração diária normal do
trabalho são satisfatórias?
• O equilíbrio interno das temáticas do programa reflecte os diferentes graus
de importância consubstanciados nos objectivos?
MÉTODOS E MEIOS
• Com base em que tipo de indicadores e critérios se escolheram os métodos?
• Os métodos utilizados são os mais adequados ao tipo de destinatários em
causa?
• Os métodos e os meios pedagógicos proporcionam variedade e estimulam a
aprendizagem?
• Qual é a qualidade dos materiais distribuídos (manuais, livros, textos, ...) e
dos auxiliares pedagógicos? São disponibilizados em tempo útil?
FEEDBACK AVALIATIVO
• Que tipo de avaliação de progressão está a ser utilizada durante o
programa?
• Os diferentes métodos de avaliação são fiáveis e oportunos?
• Que feedback é proporcionado aos formandos? Como?
1.9. EXEMPLO 1
GRELHA DE AVALIAÇÃO DE UMA SESSÃO DE ENSINO/APRENDIZAGEM
Instituto de Emprego e Formação Profissional – Formação Inicial de Formadores
Data :
Nome :
Tema da Sessão :
Objectivo(s) da Sessão :
Parâmetros Avaliação
1. Domínio do assunto Domina pouco os conteúdos Domina razoavelmente os Domina bem os conteúdos Domina muito bem os conteúdos Total domínio dos conteúdos
conteúdos impondo um contributo original
2. Motivação dos formandos Nenhum interesse manifestado Pouco interesse manifestado Os participantes Os participantes demonstram muito Os participantes mostram-se
pelos participantes pelos participantes manifestam certo interesse, intervindo frequentemente vivamente interessados
interesse, intervindo
espontaneamente
3. Comunicação dos objectivos Não foram comunicados Foram expressos de forma Foram comunicados em Foram comunicados em termos de Foram comunicados em termos
vaga termos de fins a atingir comportamentos observáveis de comportamentos observáveis,
apoiados em situações
motivantes
4. Actividade dos participantes Não foi suscitada Foi suscitada ocasionalmente Foi solicitada mas não Foi solicitada individualmente após Foi controlada sob forma de
controlada cada período de informação reforço imediato
sistematicamente
5. Verificação dos conhecimentos Não foram verificados Foram objecto de uma breve Foram objecto de revisão Foram verificados individualmente Foram verificados através de
anteriores revisão dos pontos fundamentais através de uma revisão detalhada uma revisão detalhada,
permitindo uma recuperação
individual
6. Resultados da aprendizagem Não foram controlados Foram objecto de um controlo Foram objecto de um Foram objecto de um controlo imediato Foram objecto de um controlo
diferido sob a forma de controlo imediato sob e individual sistemático e individual,
questões abertas forma de perguntas incluindo sobre os objectivos da
directas sessão
7. Auxiliares pedagógicos Não foram utilizados Foram utilizados Foram utilizados Foram utilizados adequadamente Sob a Foram utilizados
ocasionalmente adequadamente como forma de resumos realçando os pontos- sistematicamente sob a forma de
ilustração da sessão chave sequências de aprendizagem
8. Preparação da sessão Não foi feita Foi redigido um plano de Foi redigido o plano de O plano de sessão inclui para além dos A preparação referida nos pontos
forma sumária e preparados os sessão contendo: título, pontos anteriores: o objectivo da anteriores foi enriquecida com
materiais mínimos material necessário, fases sessão, o processo de motivação, elementos originais
principais da sessão e descrição pormenorizada do
tempo previsto encadeamento das operações, formas
de avaliação e auxiliares pedagógicos
9. Individualização da aprendizagem Não foi praticada nenhuma Foi feita uma individualização Foi praticada uma Foi praticada uma individualização Foi praticada uma
individualização mas sem Ter em conta o individualização de forma tendo em conta o ritmo de trabalho de individualização tendo em conta
interesse e a motivação de sumária cada indivíduo o ritmo de trabalho de cada
cada um indivíduo e prevendo tarefas de
recuperação ou de
enriquecimento sempre que
necessário
10. Sentido criativo Reproduz com dificuldade os Não apresenta inovações no Imita, acrescentando algo Faz prova de criatividade (na Faz prova de um sentido criativo
modelos desenvolvimento da sessão pessoal apresentação dos documentos, das muito desenvolvido
situações de aprendizagem, das
avaliações)
11. Reacções afectivas Põe em evidência as respostas Não considera as intervenções Considera apenas algumas Considera cada uma das intervenções Tira partido de cada intervenção
incorrectas- Cria um clima de dos formandos das intervenções dos dos formandos, rectifica os erros dos formandos. Valoriza cada
angústia e mal-estar formandos intervenção
12. Confiança em si Tímido, pouco à vontade, Falta de segurança, facilmente Seguro de si, calmo Prova ser seguro, domina as suas Muito seguro de si, domina
evidenciando sinais de impressionável, confuso reacções emocionais todas as suas emoções
ansiedade
13. Comportamento social Suscita agressividade Suscita indiferença ou Suscita e encoraja a Encoraja a compreensão mútua Favorece em alto grau o
reacções de distracção participação, regula de interesse de uns pelos outros
forma equitativa os
diferendos no seio do
grupo
14. Comportamento físico Comportamento que impede a Exprime-se de forma pouco Exprime-se normalmente Exprime-se claramente coma Controla constantemente o
compreensão (voz inaudível, clara com voz inteligível, sem preocupação de se fazer entender, volume e a clareza da sua voz,
gestos desordenados) gestos desordenados utilizando adequadamente certos assim com cada um dos seus
movimentos movimentos
1.10. EXEMPLO 2
1. FINALIDADES AVALIATIVAS
Critérios: a estratégia contempla avaliação diagnóstica, formativa e sumativa
versus estratégia avaliativa apenas orientada para uma finalidade avaliativa
(exemplo: classificar).
2. COERÊNCIA (taxonomia)
Critérios: as metodologias de avaliação são coerentes com o domínio (saber,
saber/fazer ou saber/estar) do objectivo versus metodologias desadequadas à
taxonomia do objectivo.
3. ADEQUAÇÃO
Critérios: os itens avaliam o nível (graus de complexidade dos domínios
cognitivo, afectivo e psicomotor) referido pelo objectivo versus o comportamento
solicitado pelo item é superior ou inferior ao solicitado pelo objectivo.
4. PONDERAÇÃO
Critérios: adequação das cotações dos itens ao peso e importância dos
objectivos versus quantificação arbitrária das cotações.
5. QUALIDADE DA CONSTRUÇÃO
Critérios: itens construídos sem erros de forma, com linguagem clara e
adequada versus itens fornecendo indicadores de resposta, incluindo alternativas
automaticamente excluídas, gerando ambiguidade, etc.
6. FIABILIDADE
Critérios: existência de grelha de correcção/avaliação que minimize erros de
avaliação versus inexistência de controlo aos factores de subjectividade na
avaliação.
7. FEEDBACK AVALIATIVO
Critérios: a avaliação é individualizada e prevê propostas de desenvolvimento
para cada formando versus avaliação em grupo sem sugestões para
aperfeiçoamento futuro.
Impacte
Transferência
Aprendizagens
Satisfação/Reacções
Este é, talvez, como diz o próprio Kirkpatrick “o nível mais importante e mais difícil
de todos”.
No que diz respeito aos formadores, as preocupações com este nível de avaliação
podem ser expressas com questões como:
• Em que é que a qualidade melhorou por causa do curso de Qualidade Total
que monitorizei aos encarregados e gestores? Como contribuíram esses
resultados para os lucros da empresa?
• Qual tem sido o resultado de todos os nossos programas em comunicação
interpessoal e relações humanas?
• Que benefícios tangíveis conseguimos retirar de todo o investimento feito em
cursos de liderança, gestão do tempo e tomada de decisão?
• Qual é o retorno do investimento (ROI – return on investment) realizado em
formação?
Estas e muitas outras questões não são, normalmente, respondidas por duas razões:
1. os formadores não sabem medir os resultados e compará-los com o custo do
programa;
2. mesmo que soubessem, os resultados evidenciariam, na melhor das
hipóteses, e sem provas válidas e fiáveis, que os resultados positivos provêm
da formação.
E então sim, estaremos a actuar com base em lógicas de gestão da formação que,
logo de início, se preocupam em diagnosticar as necessidades de formação
identificando indicadores organizacionais à luz dos quais a avaliação de impacte
possa ser realizada. Se assim não for, e apenas houver preocupações com a
avaliação dos efeitos organizacionais no final da formação, fica sempre por se saber,
por muito bons que sejam os resultados, se a formação melhorou, piorou ou apenas
manteve a situação.
Para além disso, e tendo em conta que ninguém nasce ensinado, torna-se
necessário preparar os avaliadores. ‘Avaliador’ não é uma categoria profissional:
é antes aquele que participa no trabalho de recolha ou de análise de informações
úteis à avaliação, além da sua responsabilidade profissional.
Basta que, com esse fim em vista, o formador e os restantes agentes formativos
estejam alerta para este facto e dispondo das competências necessárias à sua
realização.
Deixamos um conjunto de regras, da autoria de Barbier, onde se sintetiza de forma
excelente o essencial deste nível de avaliação da formação.
REGRA 1
Avaliar pressupõe comparar resultados a um referencial definindo antes da formação
os objectivos.
REGRA 2
Encontrar os indicadores pertinentes para avaliar, a partir de critérios de
desempenho observáveis e mensuráveis definidos pelo referencial.
REGRA 3
Um bom sistema de avaliação deve encontrar aceitação por parte dos actores alvo
da avaliação.
REGRA 4
A formação deve ser o único elemento explicativo do resultado observado. Ter
presente que outros factores podem explicar o resultado, sobretudo quando se visa o
médio/longo prazo. Verificar que os bons resultados alcançados não geram efeitos
perversos noutros sectores.
REGRA 5
Não querer avaliar tudo. Algumas acções, nomeadamente as de desenvolvimento
pessoal, não são avaliáveis em relação a um referencial pré-estabelecido. Além
disso, verificar que os custos da formação não são superiores aos resultados obtidos.
Ser pragmático, mantendo a ambição.
REGRA 6
Difundir os resultados da formação por todos os clientes da formação de modo a
confirmar e manter o que funciona e corrigir o que resultou menos bem.
REGRA 7
O interesse essencial da avaliação não é sempre o resultado, mas o que este permite
explicar. É isso que permite progredir num espírito de desenvolvimento da formação.
Um bom sistema de avaliação é um utensílio de gestão.
IMPACTE SOCIO-ORGANIZACIONAL
1. ORGANIZAÇÃO FORMAL
- Organização (industrial, 1.1. Estrutura organizacional - Número de níveis hierárquicos
administrativa, ...) (funções, grau de centralização/ - Número de grupos de projectos
- Gestão de Projectos descentralização, estrutura - Nova configuração dos serviços
- Gestão (delegação, ...) piramidal, matricial, por - Nattureza dos responsáveis pelos serviços
projectos, ...) descentralizados
- Qualidade Total 1.3. Relações clientes / - Número e natureza dos projectos realizados
- Projecto de empresa fornecedores internos e em cooperação
- Gestão de projectos cooperação entre serviços, - Número de projectos interserviços
unidades, células ... formalizados
- Índices de satisfação dos clientes internos
2. CIRCUITOS DE INFORMAÇÃO
- Conhecimento do mercado e da 2.1. Informação sobre o contexto - Volume e natureza da informação recolhida
concorrência da empresa
- Conhecimento da empresa e
dos seus produtos
- Marketing, Estratégia
- Benchmarking
- Economia da empresa
- Gestão 2.2. Circulação da informação - Rapidez, selecção de destinatários,
- Qualidade pertinência da informação em circulação
- Circuitos de informação - Desenvolvimento da informação na
- Comunicação organização
- Informática - Legibilidade das notas internas
- Expressão escrita
- Conhecimento da empresa
- Informática 2.3. Tratamento informatizado - Actualização de ficheiros e bancos de dados
- Documentação - Fiabilidade dos dados
- Informação/Comunicação - Número de erros
- Formação on job - Taxa de utilização dos suportes informáticos
- Volume de papel em circulação
4. COESÃO SOCIAL
- Formações comportamentais 4.1. Mobilização dos RH, - Absentismo
autonomia, iniciativa - Turnover não desejado
- Número de sugestões de melhoria recebidas
- Todos os tipos de formação, 4.2. Ambiente e clima social - Satisfação dos RH, grau de adesão aos
em particular: gestão, conheci- objectivos da empresa medido através de
mento da empresa, seus serviços sondagens internas
e entidades, comunicação e - Frequência e natureza de conflitos sociais
qualidade
- Todos os tipos de formação, 4.3. Integração de todas as - Percentagem de pessoas que atingiram os
em particular: formação de pessoas níveis considerados aceitáveis
aculturação e de actualização - Número de reconversões internas bem
sucedidas
IMPACTE CULTURAL
IMPACTE SOCIETAL
Conclusão 193/202
Manual de Avaliação da Formação
Lembra-se, por certo, da actividade que lhe propusemos logo no início deste
percurso formativo (ver DIAGNÓSTICO).
Se bem se recorda, tratava-se de definir uma estratégia avaliativa para uma acção
de formação descrevendo, de forma sucinta e genérica:
• quem avalia;
• o que se avalia;
• como se avalia;
• quando se avalia;
• com que finalidade se avalia.
Nesta fase, ser-lhe-á fácil conceber a estratégia avaliativa. Bastará que cruze cada
uma daquelas questões com os quatro níveis de avaliação propostos por
20
Kirkpatrick :
o SATISFAÇÃO
o APRENDIZAGENS
o TRANSFERÊNCIA
o IMPACTE
Fornecemos-lhe uma grelha que corresponde ao cruzamento de dados que aqui lhe
propomos (ver ESTRATÉGIA AVALIATIVA) e que poderá constituir, doravante, uma base
de reflexão para qualquer estratégia avaliativa que queira conceber e passar à
prática.
20
Ver MODELOS DE AVALIAÇÃO.
Conclusão 194/202
Manual de Avaliação da Formação
Conclusão 195/202
Manual de Avaliação da Formação
SUMA, …..
No entanto, e como ficou claro ao longo deste trabalho, não há receitas que, uma
vez aplicadas, resolvam e contornem todas as dificuldades inerentes a um processo
avaliativo da formação profissional. Cada acção de formação é única e nessa
qualidade deve ser abordada.
Conclusão 196/202
Manual de Avaliação da Formação
Conclusão 197/202
Manual de Avaliação da Formação
IX. BIBLIOGRAFIA
Bibliografia 198/202
Manual de Avaliação da Formação
HADJI, Charles, (1992), L´évaluation des actions educatives, Paris, PUF Presses
Universitaires de France.
Bibliografia 199/202
Manual de Avaliação da Formação
MARQUES, Carlos Alves, CRUZ, Celso P. A., Guedes, Paula C. R., (1995), Medir
Resultados da Formação: Para Além da Ilusão, Comportamento Organizacional e
Gestão, Vol. I, nª 2, Instituto Superior de Psicologia Aplicada, Lisboa, RH Editora.
McKillip, Jack, (1986), Need analysis – tools for the human services and
education, California, Sage Publications.
Bibliografia 200/202
Manual de Avaliação da Formação
Bibliografia 201/202