Pondo de parte o folclore que cada vez mais envolve a realização dos exames nacionais — assunto que abordei no texto da semana passada —, retomo o exercício de recordar alguns problemas graves que fragilizam de modo significativo a fiabilidade avaliativa dos exames nacionais — e que inexplicavelmente são omitidos por quem defende a sua generalização a todas as disciplinas, no fim de cada ciclo de estudos, com peso determinante na aprovação do aluno.
Em contraste com esta exótica omissão, vai-se desenvolvendo, na comunicação social, uma campanha de panegírico aos exames nacionais, sustentada, em muitos casos, numa argumentação de garantido efeito público, mas de muito duvidosa validade e de ainda mais duvidosa veracidade — por analogia, é algo semelhante ao que se passa com a publicidade enganosa. Socorrendo-se de bordões como «exames a sério» e «avaliação a sério» discorre-se sobre a alegada superioridade avaliativa dos exames com uma impressionante superficialidade e irresponsabilidade e, com ou sem inocência, manipula-se a realidade e as mentes.
Recordei, no texto de há duas semanas — «Exames nacionais - apontamentos (5)» —, que o primeiro momento em que a falta de fiabilidade avaliativa do exame nacional se começa a desenhar ocorre com a selecção das aprendizagens e das competências que vão ser objecto de avaliação; e que o segundo momento ocorre quando se procede à escolha do tipo de pergunta a formular.
O terceiro momento, que me proponho agora recordar, é o da redacção das perguntas/questões (ou, se se preferir, em linguagem mais modernaça: dos itens).
Como todos sabemos, os problemas relacionados com a redacção das perguntas engloba múltiplos aspectos. Relembrando três deles:
1. O nível de linguagem utilizado na formulação da pergunta. Este é um problema que qualquer professor enfrenta quando elabora uma prova para as turmas que lecciona. Todavia, é um problema que normalmente é bem resolvido por esse professor, porque, evidentemente, ele não utiliza no teste um nível de linguagem diferente daquele que utiliza nas aulas e que os alunos conhecem e dominam. Mas, como é óbvio, aquilo que é facilmente resolúvel numa prova realizada em contexto de turma não o é na elaboração de um exame nacional.
Em determinados saberes, e à medida que se avaliam aprendizagens mais complexas, este problema é factual, e não poucas vezes constitui um elemento que deteriora de modo objectivo a fiabilidade avaliativa de muitas perguntas. Uma pergunta que suscite dúvidas ao aluno sobre o que verdadeiramente está a ser solicitado — não por razões de ignorância sua mas pelo nível de linguagem utilizado — é um pergunta que, na realidade, nada vai avaliar e que, pior ainda, vai dar indicações erradas sobre os conhecimentos e/ou competências desse aluno.
Em determinados saberes, e à medida que se avaliam aprendizagens mais complexas, este problema é factual, e não poucas vezes constitui um elemento que deteriora de modo objectivo a fiabilidade avaliativa de muitas perguntas. Uma pergunta que suscite dúvidas ao aluno sobre o que verdadeiramente está a ser solicitado — não por razões de ignorância sua mas pelo nível de linguagem utilizado — é um pergunta que, na realidade, nada vai avaliar e que, pior ainda, vai dar indicações erradas sobre os conhecimentos e/ou competências desse aluno.
2. Ao problema do nível de linguagem junta-se o problema da clareza da pergunta. Um nível de linguagem adequado não garante clareza na formulação da pergunta. É por isso que nos confrontamos recorrentemente com perguntas pouco claras ou mesmo com perguntas cujo sentido é obscuro. Perante uma questão assim elaborada, ao aluno só resta procurar adivinhar o que está a ser pedido. Às vezes adivinha, mas outras vezes não adivinha. Ora, se as perguntas não são claras a sua fiabilidade avaliativa fica irremediavelmente posta em causa.
3. Os dois aspectos acima enunciados são da responsabilidade de quem elabora, mas há um terceiro que é relativo a quem responde: a interpretação da pergunta. A literatura científica sobre esta matéria confirma o que empiricamente se observa: muitas respostas erradas, ou só parcialmente correctas, não têm como causa a ignorância mas sim a interpretação que o aluno fez do conteúdo da pergunta. Em algumas disciplinas, este problema está particularmente presente nas perguntas cuja resposta é de escolha múltipla. Este tipo de perguntas, que permite uma classificação objectiva das respostas, concentra, inversamente, uma elevada subjectividade na sua formulação, o que tem como consequência uma alta probabilidade de interpretações díspares, por parte dos alunos. Isto conduz, com assinalável frequência, a que os melhores alunos, provavelmente porque a sua capacidade interpretativa é menos linear, obtenham piores resultados neste tipo de testes do que nos testes de perguntas de resposta longa. Deste modo, a objectividade alcançada a nível da classificação é largamente prejudicada pela subjectividade a nível da elaboração.
3. Os dois aspectos acima enunciados são da responsabilidade de quem elabora, mas há um terceiro que é relativo a quem responde: a interpretação da pergunta. A literatura científica sobre esta matéria confirma o que empiricamente se observa: muitas respostas erradas, ou só parcialmente correctas, não têm como causa a ignorância mas sim a interpretação que o aluno fez do conteúdo da pergunta. Em algumas disciplinas, este problema está particularmente presente nas perguntas cuja resposta é de escolha múltipla. Este tipo de perguntas, que permite uma classificação objectiva das respostas, concentra, inversamente, uma elevada subjectividade na sua formulação, o que tem como consequência uma alta probabilidade de interpretações díspares, por parte dos alunos. Isto conduz, com assinalável frequência, a que os melhores alunos, provavelmente porque a sua capacidade interpretativa é menos linear, obtenham piores resultados neste tipo de testes do que nos testes de perguntas de resposta longa. Deste modo, a objectividade alcançada a nível da classificação é largamente prejudicada pela subjectividade a nível da elaboração.
Estes três aspectos não assumem uma relevância significativa em contexto de teste de sala de aula. Mas essa relevância já existe em contexto de exame nacional. A diferença advém de uma única circunstância: no primeiro caso, existe uma mediação entre a prova e o aluno, que é realizada pelo professor — o professor está lá para realizar a mediação que for necessário realizar, quer no domínio da linguagem, quer no domínio da clareza ou da interpretação; no segundo caso, no exame nacional, não existe qualquer mediação, e todas deficiências e insuficiências de linguagem, de clareza e de interpretação se impõem de modo irreversível, deteriorando a fiabilidade avaliativa desse tipo de prova.
(Continua na próxima semana)
(Continua na próxima semana)
