E SE VOLTÁSSEMOS À DOCIMOLOGIA, OU SEJA, À CIÊNCIA DOS EXAMES?

 

Em texto que antes publiquei sobre a infindável tragicomédia em que se tornou a classificação dos exames nacionais, disse que ela não se deve ao acaso; deve-se a factores que se têm consolidado nos sistemas de ensino, entre os quais está o ignorar, distorcer ou desprezar conhecimento confiável e procedimentos seguros que a pedagogia tem construído (ver aqui). Num artigo muito esclarecedor, António Teodoro retoma algum desse conhecimento, inscrito na docimologia (a "ciência dos exames"), para discutir se as respostas dos alunos devem ser classificadas, uma a uma por professores diferentes (e no caso, também por máquinas) ou se, mesmo que exista este tipo de multicorrecção, é preciso ter uma visão global do trabalho do aluno. Reproduzo abaixo o essencial desse artigo.

“(…) Há muito que a investigação em educação chama a atenção para um aspeto essencial: (…) aprender implica estabelecer relações, construir coerência, desenvolver formas de pensamento e de argumentação. É precisamente por isso que a avaliação escolar nunca pode ser reduzida a um mero exercício técnico de medição. Ela envolve sempre uma determinada conceção do que significa conhecer, compreender e pensar.

A questão decisiva, portanto, não é a digitalização dos exames. É a conceção de avaliação que a digitalização tornou possível.

Até há poucos anos, a logística da correção impunha limites relativamente claros. Em regra, um professor lia integralmente a prova de um aluno, acompanhava o seu raciocínio e formulava um juízo global sobre o desempenho demonstrado. Hoje, a tecnologia permite outra realidade: a fragmentação da prova em múltiplos itens, distribuídos por diferentes classificadores. Um professor corrige apenas uma questão; outro, uma resposta de desenvolvimento; outro ainda, um conjunto específico de itens. Nenhum lê o exame na sua totalidade.

Esta transformação remete-nos para um conceito clássico da sociologia do trabalho: o taylorismo. No início do século XX, Frederick Taylor defendeu que qualquer processo complexo poderia tornar-se mais eficiente através da divisão do trabalho em tarefas simples, repetitivas e rigorosamente normalizadas. A produtividade aumentava, a variabilidade diminuía, mas o trabalhador deixava de dominar o processo global. Tornava-se especialista numa pequena parcela da produção. Algo semelhante parece estar a acontecer na avaliação escolar.

Os defensores deste modelo invocam frequentemente a docimologia, a ciência dos exames, e fazem-no com fundamento. Desde os trabalhos pioneiros de Henri Piéron, sabemos que diferentes professores podem atribuir classificações distintas à mesma prova. A avaliação não é um ato puramente mecânico e está sujeita a variações de julgamento. A docimologia (…) [chamou] a atenção para a necessidade de critérios claros, formação dos classificadores e procedimentos que reduzam a arbitrariedade.

Mas a lição da docimologia é mais complexa (…). [Há que distinguir] entre dois conceitos fundamentais: fiabilidade e validade. A fiabilidade refere-se à consistência dos resultados: diferentes classificadores atribuem classificações semelhantes à mesma prova? A validade coloca uma questão mais exigente: estamos efetivamente a avaliar aquilo que pretendemos avaliar?

Ora, as medidas destinadas a aumentar a fiabilidade podem, paradoxalmente, enfraquecer a validade.

A correção fragmentada por itens tende, em princípio, a produzir maior uniformidade classificativa. Mas pode fazê-lo à custa da compreensão global do pensamento do aluno. O conhecimento não se apresenta sob a forma de respostas isoladas. Manifesta-se através da coerência de um raciocínio, da capacidade de estabelecer relações entre conceitos, de construir uma argumentação consistente ou de ultrapassar um erro inicial no desenvolvimento subsequente.

Um professor que lê integralmente uma prova consegue, pelo menos potencialmente, apreender essa dinâmica. Pode distinguir uma formulação infeliz de uma incompreensão profunda, perceber a lógica interna de um argumento ou reconhecer formas de pensamento que escapam a uma leitura fragmentária.

Quem corrige apenas um item não dispõe dessa possibilidade. Avalia uma resposta, mas dificilmente avalia um pensamento.

O paradoxo torna-se então evidente. Em nome da objetividade e da precisão técnica, corre-se o risco de perder precisamente aquilo que a escola deveria procurar reconhecer: a qualidade do raciocínio, a integração dos conhecimentos e a capacidade de pensar.

Esta questão remete-nos para um problema mais amplo: a transformação da própria profissão docente. Durante muito tempo, o professor foi concebido como um profissional dotado de capacidade de julgamento. O seu trabalho implicava interpretação, deliberação e responsabilidade. Esse julgamento não era sinónimo de arbitrariedade; assentava em conhecimento especializado, experiência profissional e critérios partilhados. Nas últimas décadas, porém, tem-se afirmado um paradigma diferente. Inspiradas pelas orientações da chamada Nova Gestão Pública, numerosas políticas educativas têm procurado substituir a confiança nos profissionais por sistemas de controlo baseados em indicadores, protocolos e procedimentos padronizados. A promessa é conhecida: reduzir a subjetividade, aumentar a transparência e tornar os processos mais eficientes.

Mas permanece uma questão fundamental: será toda a subjetividade um defeito? Ou existirá uma forma de julgamento profissional — fundamentada, escrutinável e responsável — que nenhuma grelha de classificação consegue substituir?

A obsessão contemporânea pela medição tende a esquecer uma evidência simples: nem tudo o que é importante pode ser decomposto em unidades independentes sem perda de significado. Uma sinfonia não é apenas a soma das notas que a compõem. Um romance não se reduz à soma das suas frases. Também um exame não é apenas a soma dos seus itens.

A digitalização dos exames não é, portanto, o verdadeiro tema deste debate. Ela constitui apenas o instrumento que tornou tecnicamente possível aplicar à avaliação escolar uma lógica de organização do trabalho baseada na fragmentação, na especialização e na estandardização dos procedimentos.

A questão que importa colocar é outra: quando nenhum professor lê integralmente uma prova, quem avalia verdadeiramente o pensamento do aluno? A resposta é, no mínimo, inquietante.

Porque o que está em causa é mais do que uma inovação tecnológica ou um problema organizativo. Está em discussão uma escolha política e pedagógica sobre o significado da avaliação e sobre o próprio lugar dos professores na escola. Queremos docentes capazes de exercer um julgamento profissional sobre o conhecimento dos alunos ou especialistas na aplicação uniforme de grelhas de classificação?

A resposta a esta pergunta ajudará a definir não apenas o futuro dos exames, mas também o futuro da profissão docente. E da própria escola, enquanto espaço de formação do pensamento, de construção do conhecimento e de reconhecimento da complexidade humana que nenhum algoritmo ou grelha de classificação consegue inteiramente capturar." 

OS PRÓXIMOS CULPADOS SERÃO OS ALUNOS

"Como vou confiar num ministro da educação que descredibiliza os meus professores e que não entrega os meus resultados? (…) As nossas notas não foram entregues. Eu acho que é impossível confiar num governo que age dessa maneira, que destrata os professores, a seguir os directores, a seguir os pais e, agora, não duvido que vá culpabilizar os alunos (…). Como é que eu vou confiar nesses resultados? O mínimo que posso fazer como estudante (…) é exigir uma reapreciação das notas." Raul Neetzold, estudante do 12.º ano.

Palavras de grande sabedoria de um jovem que, presumo, nunca ter estudado gestão, educação, ética ou psicologia em profundidade. No caso, é o bom-senso (no melhor sentido que esta palavra tem, de racionalidade e razoabilidade) a funcionar.

O Ministro da Educação, Ciência e Inovação, ao imputar culpas a outrem (sendo nisso acompanhado pelo Primeiro Ministro), incluindo a instâncias que criou e aos elementos que lá colocou, escusando-se de qualquer responsabilidade, deita abaixo o sistema que tutela.
______________________
NOTA: Recolhi o extrato que acima reproduzi no blogue de Paulo Guinote (ver aqui), a quem aproveito para agradecer a informação que tem disponibilizado sobre a matéria em causa e que tenho acompanhado diariamente. Devo o mesmo agradecimento a António Duarte (ver aqui).

UMA CARTA DIRIGIDA AO SENHOR MINISTRO POR UMA DIRECTORA ESCOLAR

Reproduzo abaixo uma carta saída ontem no jornal Público com assinatura de Rosária Alves, directora de um Agrupamento de Escolas, e dirigida ao Ministro da Educação, Ciência e Inovação e  (ver aqui). O motivo da carta é a triste saga dos os exames nacionais de final de ensino secundário. Num exercício de cidadania, junta-se a outros, nomeadamente professores, na explicação, no espaço público, do que não é aceitável, tolerável no sistema de ensino, pois o que nele está em causa é demasiado sério para experimentalismos inconsequentes.

"Sr. Ministro da Educação, Ciência e Inovação

Começo por esclarecer o Sr. Ministro de que exerço o cargo de diretora de um Agrupamento de Escolas, eleita por um colégio eleitoral, que, concordando ou não com o atual modelo de Gestão e Autonomia das Escolas, é legítimo e representativo de uma sociedade que se rege pela democracia.

Não sou, portanto, nomeada por V.ª Excelência, nem tenho para com a sua governança qualquer tipo de submissão política. Tenho sim, respeito pelas relações institucionais e, no exercício das minhas funções, dou cumprimento às orientações de política educativa emanadas pelo Ministério que me tutela.
É isso que tenho sempre feito.
Não estou agarrada a qualquer ideia de poder, nem a qualquer lugar. Sou uma pessoa de convicções, de princípios e que entende a democracia como um espaço de diálogo, sem autoritarismo. Por isso mesmo, não ficaria bem com a minha consciência se não o desafiasse a fazer as seguintes reflexões:

Os resultados dos exames nacionais são decisivos para o acesso dos alunos ao ensino superior. Portanto, um assunto que não pode ser tratado com qualquer tipo de negligência, num governo que defende que o desenvolvimento do país depende do sucesso dos seus jovens à saída do ensino superior. Um governo que diz defender a educação como um dos pilares fundamentais de qualquer sociedade desenvolvida.

Pois bem, Sr. Ministro, palavras leva-as o vento, e de intenções está o inferno cheio... Vamos aos factos:
- Distribuição de provas para classificar, a docentes que há mais de dez anos não lecionam os níveis de ensino secundário;
- Aplicação massiva de uma metodologia de correção, que no ano anterior tinha revelado problemas e que não foi novamente testada;
- Nomeação de docentes, para digitalizarem as provas, que nem conheciam a dura tarefa que os esperava;
- Alteração do calendário dos exames nacionais, em três dias, sem refletir na possibilidade de passar os exames da 2.ª fase para setembro, garantindo a normalidade dos procedimentos;
- Atribuição de provas incompletas, aos professores classificadores, que sob pressão tiveram de terminar as classificações;
- Sem qualquer tipo de notificação, colocação de mais itens na plataforma para os classificadores corrigirem, quando estes julgavam já ter terminado o seu trabalho;
- Distribuição de itens para correção na plataforma, a docentes que estavam de atestado médico, desde o início do processo e que lá continuaram até dia 16 de Julho;
- Distribuição de itens para correção na manhã do dia 17 de Julho;
- Ordem de encerramento da plataforma dos corretores, sem que os itens estivessem devidamente corrigidos;
- Homologação dos resultados finais, com resultados em falta, o que numa governança que defende a digitalização como um processo transparente, universal e justo, parece questionável;
- Escolas sem credenciais de acesso à nova plataforma de visualização com as provas digitalizadas, geradora dos PDFs para enviar aos pais e encarregados de educação;
- Comunicação com as escolas, via comunicação social e a minutos da receção dos ficheiros, pelas 19h00, que aguardávamos desde as 08h00 da manhã.

Acredito que depois de me acompanhar neste historial, esteja em condições de reconhecer que o produto final não correspondeu às expetativas de ninguém!

Estas reflexões não são falsas, não são fake news, nem de alguém que não acredita na digitalização; resultam daquilo que vi, que vivi na primeira pessoa e dos testemunhos escritos e verbais que fui recebendo dos professores que conheço.

Os erros e os constrangimentos que foram divulgados ao longo deste processo foram sendo atribuídos a diferentes atores: aos diretores, aos secretariados de exames, às escolas, aos professores, ao JNE e ao Eduqa. Curiosamente, nunca a quem tutela toda esta gente! Nunca a quem tinha a responsabilidade política e a capacidade para decidir! 

A honestidade intelectual e a humildade do reconhecimento do erro, quer na tomada de decisão, quer no acompanhamento dos processos é determinante na autoridade e legitimidade dos líderes das organizações. 

Depressa e bem, não faz ninguém, e Roma e Pavia não se fizeram num dia, Sr. Ministro. 

Para além de ser professora de carreira, já exerci muitas outras funções fora e dentro da Administração Pública, sempre com muito profissionalismo e sentido de missão. Não lhe apresento hoje a minha demissão por respeito à comunidade educativa que me reconduziu a mais um mandato de direção. Mas acredite que será muito difícil trabalhar com quem não olha a meios para atingir os fins e quem não respeita as comunidades educativas, entenda-se alunos, professores, pessoal não docente e pais.

Na vida, Sr. Ministro, não vale tudo.

As reformas têm sucesso quando os resultados são visivelmente melhores do que o estado anterior. Infelizmente, este não foi o caso."

CONFIRMA-SE A LEI DE MURPHY, MAS POR RAZÕES BEM EXPLICÁVEIS

Quando há cerca de vinte dias publiquei, neste blogue, os textos "'Constrangimentos naturais de um processo inovador' ou manifestação da Lei de Murphy?" e a "A linha de montagem da avaliação com fins de classificação" estava longe, muito longe, de imaginar o desfecho (que ainda o não foi) da tragicomédia em que se tornou o processo de classificação dos exames nacionais de final do ensino secundário.

Tenho acompanhado, incrédula, a alienação pedagógica, a incompetência técnica e a arrogância política que este caso junta. Não me recordo de outro em que, tão ostensivamente, estes ingredientes se tivessem combinados de forma tão coordenada no sistema de ensino.

 

Confirma-se a Lei de Murphy.

 

 Mas isso não deriva do acaso, deriva desses ingredientes: 

- da alienação pedagógica que leva a ignorar, distorcer ou desprezar conhecimento confiável e procedimentos seguros, 
- da incompetência técnica, que sob a capa da inovação (sobretudo se tiver cheiro a digital), afasta, manipula, destrói estratégias correctas, modos de fazer funcionais; e
- da arrogância política, que, contra toda a evidência, potencia decisões nefastas e, pior, insistência na sua manutenção, vedando, com sobranceria  a possibilidade de reconhecimento de falhas, de erros.

 

O que está a acontecer no sistema de ensino é grave, é gravíssimo. E não apenas pelas consequências do processo de avaliação, sem esquecer o processo em si, mas pela própria ideia de educação escolar que se instalou. Uma ideia em que não cabe a preocupação primeira de formar pessoas para o mundo. Para um mundo decente, claro.