E SE VOLTÁSSEMOS À DOCIMOLOGIA, OU SEJA, À CIÊNCIA DOS EXAMES?

 

Em texto que antes publiquei sobre a infindável tragicomédia em que se tornou a classificação dos exames nacionais, disse que ela não se deve ao acaso; deve-se a factores que se têm consolidado nos sistemas de ensino, entre os quais está o ignorar, distorcer ou desprezar conhecimento confiável e procedimentos seguros que a pedagogia tem construído (ver aqui). Num artigo muito esclarecedor, António Teodoro retoma algum desse conhecimento, inscrito na docimologia (a "ciência dos exames"), para discutir se as respostas dos alunos devem ser classificadas, uma a uma por professores diferentes (e no caso, também por máquinas) ou se, mesmo que exista este tipo de multicorrecção, é preciso ter uma visão global do trabalho do aluno. Reproduzo abaixo o essencial desse artigo.

“(…) Há muito que a investigação em educação chama a atenção para um aspeto essencial: (…) aprender implica estabelecer relações, construir coerência, desenvolver formas de pensamento e de argumentação. É precisamente por isso que a avaliação escolar nunca pode ser reduzida a um mero exercício técnico de medição. Ela envolve sempre uma determinada conceção do que significa conhecer, compreender e pensar.

A questão decisiva, portanto, não é a digitalização dos exames. É a conceção de avaliação que a digitalização tornou possível.

Até há poucos anos, a logística da correção impunha limites relativamente claros. Em regra, um professor lia integralmente a prova de um aluno, acompanhava o seu raciocínio e formulava um juízo global sobre o desempenho demonstrado. Hoje, a tecnologia permite outra realidade: a fragmentação da prova em múltiplos itens, distribuídos por diferentes classificadores. Um professor corrige apenas uma questão; outro, uma resposta de desenvolvimento; outro ainda, um conjunto específico de itens. Nenhum lê o exame na sua totalidade.

Esta transformação remete-nos para um conceito clássico da sociologia do trabalho: o taylorismo. No início do século XX, Frederick Taylor defendeu que qualquer processo complexo poderia tornar-se mais eficiente através da divisão do trabalho em tarefas simples, repetitivas e rigorosamente normalizadas. A produtividade aumentava, a variabilidade diminuía, mas o trabalhador deixava de dominar o processo global. Tornava-se especialista numa pequena parcela da produção. Algo semelhante parece estar a acontecer na avaliação escolar.

Os defensores deste modelo invocam frequentemente a docimologia, a ciência dos exames, e fazem-no com fundamento. Desde os trabalhos pioneiros de Henri Piéron, sabemos que diferentes professores podem atribuir classificações distintas à mesma prova. A avaliação não é um ato puramente mecânico e está sujeita a variações de julgamento. A docimologia (…) [chamou] a atenção para a necessidade de critérios claros, formação dos classificadores e procedimentos que reduzam a arbitrariedade.

Mas a lição da docimologia é mais complexa (…). [Há que distinguir] entre dois conceitos fundamentais: fiabilidade e validade. A fiabilidade refere-se à consistência dos resultados: diferentes classificadores atribuem classificações semelhantes à mesma prova? A validade coloca uma questão mais exigente: estamos efetivamente a avaliar aquilo que pretendemos avaliar?

Ora, as medidas destinadas a aumentar a fiabilidade podem, paradoxalmente, enfraquecer a validade.

A correção fragmentada por itens tende, em princípio, a produzir maior uniformidade classificativa. Mas pode fazê-lo à custa da compreensão global do pensamento do aluno. O conhecimento não se apresenta sob a forma de respostas isoladas. Manifesta-se através da coerência de um raciocínio, da capacidade de estabelecer relações entre conceitos, de construir uma argumentação consistente ou de ultrapassar um erro inicial no desenvolvimento subsequente.

Um professor que lê integralmente uma prova consegue, pelo menos potencialmente, apreender essa dinâmica. Pode distinguir uma formulação infeliz de uma incompreensão profunda, perceber a lógica interna de um argumento ou reconhecer formas de pensamento que escapam a uma leitura fragmentária.

Quem corrige apenas um item não dispõe dessa possibilidade. Avalia uma resposta, mas dificilmente avalia um pensamento.

O paradoxo torna-se então evidente. Em nome da objetividade e da precisão técnica, corre-se o risco de perder precisamente aquilo que a escola deveria procurar reconhecer: a qualidade do raciocínio, a integração dos conhecimentos e a capacidade de pensar.

Esta questão remete-nos para um problema mais amplo: a transformação da própria profissão docente. Durante muito tempo, o professor foi concebido como um profissional dotado de capacidade de julgamento. O seu trabalho implicava interpretação, deliberação e responsabilidade. Esse julgamento não era sinónimo de arbitrariedade; assentava em conhecimento especializado, experiência profissional e critérios partilhados. Nas últimas décadas, porém, tem-se afirmado um paradigma diferente. Inspiradas pelas orientações da chamada Nova Gestão Pública, numerosas políticas educativas têm procurado substituir a confiança nos profissionais por sistemas de controlo baseados em indicadores, protocolos e procedimentos padronizados. A promessa é conhecida: reduzir a subjetividade, aumentar a transparência e tornar os processos mais eficientes.

Mas permanece uma questão fundamental: será toda a subjetividade um defeito? Ou existirá uma forma de julgamento profissional — fundamentada, escrutinável e responsável — que nenhuma grelha de classificação consegue substituir?

A obsessão contemporânea pela medição tende a esquecer uma evidência simples: nem tudo o que é importante pode ser decomposto em unidades independentes sem perda de significado. Uma sinfonia não é apenas a soma das notas que a compõem. Um romance não se reduz à soma das suas frases. Também um exame não é apenas a soma dos seus itens.

A digitalização dos exames não é, portanto, o verdadeiro tema deste debate. Ela constitui apenas o instrumento que tornou tecnicamente possível aplicar à avaliação escolar uma lógica de organização do trabalho baseada na fragmentação, na especialização e na estandardização dos procedimentos.

A questão que importa colocar é outra: quando nenhum professor lê integralmente uma prova, quem avalia verdadeiramente o pensamento do aluno? A resposta é, no mínimo, inquietante.

Porque o que está em causa é mais do que uma inovação tecnológica ou um problema organizativo. Está em discussão uma escolha política e pedagógica sobre o significado da avaliação e sobre o próprio lugar dos professores na escola. Queremos docentes capazes de exercer um julgamento profissional sobre o conhecimento dos alunos ou especialistas na aplicação uniforme de grelhas de classificação?

A resposta a esta pergunta ajudará a definir não apenas o futuro dos exames, mas também o futuro da profissão docente. E da própria escola, enquanto espaço de formação do pensamento, de construção do conhecimento e de reconhecimento da complexidade humana que nenhum algoritmo ou grelha de classificação consegue inteiramente capturar."