domingo, 29 de junho de 2008

Exames sem erros, porém erróneos


Recapitulemos a questão mais polémica em torno dos exames nacionais recentemente realizados: políticos, associações científicas, especialistas, professores, encarregados de educação, e até alunos consideram-nos descaradamente acessíveis. A comunicação social interessou-se pelo assunto e deu-lhe destaque. Num debate ocorrido na RTP.N, registei a posição do Director do Gabinete de Avaliação Educacional: especialistas indicados pela Sociedade Portuguesa de Matemática (S.P.M.) auditaram as provas de matemática antes da sua aplicação, pelo que as actuais críticas dessa Sociedade ao grau de dificuldade das mesmas são, no mínimo, caricatas. O representante da S.P.M. presente no debate, Filipe Oliveira, sublinhou que erros científicos e grau de dificuldade são coisas distintas. Demonstrou ainda – lendo o ofício enviado pelo Gabinete de Avaliação Educacional (G.A.V.E.) requerendo a peritagem – que aos especialistas da S.P.M. apenas foi solicitado que auditassem o primeiro aspecto.

Concentremo-nos, então, na seguinte interrogação: será possível que uma prova esteja correcta cientificamente mas apresente um grau de dificuldade errado? Indo mais longe, o grau de dificuldade que se imprime a uma prova de exame pode estar certo ou errado?

De modo propedêutico a este texto, publiquei neste blogue outro, onde afirmei que uma das funções da avaliação da aprendizagem é a função social, cujo fim é classificar como forma de prestar contas da eficácia do sistema de ensino à sociedade e de tomar decisões relativamente aos alunos e/ou ao próprio sistema de ensino. Esta avaliação, com carácter sumativo, tem como principal missão diferenciar os alunos com base nas suas aquisições académicas.

Ora bem: sem subterfúgios, é preciso reconhecer-se que os exames nacionais que agitam a sociedade portuguesa estão nesta categoria. Estando nesta categoria, e não noutra, a sua técnica de construção tem de ser consequente.

Trata-se de uma técnica simples que passo a explicar, muito resumidamente.

Sistematizam-se os conteúdos e as competências constantes dos documentos curriculares, tomando em consideração a importância atribuída a uns e a outras. Para tanto, deve usar-se uma tabela de dupla entrada que permite conjugar estes dois aspectos e, assim, determinar com maior precisão o tipo e o número de perguntas mais adequadas para a sua medição.

Posto isto, decide-se o grau de dificuldade das perguntas, de modo a discriminar a aprendizagem dos alunos. Num exame devem, pois, constar perguntas de dificuldade mínima, pouco exigentes do ponto de vista conteúdos/competências, às quais, em princípio, a grande maioria dos alunos responde correctamente, até perguntas de dificuldade superior, muito exigentes do ponto de vista conteúdos/competências, às quais, em princípio, só uma minoria dos alunos responde correctamente. Entre estes dois pólos formulam-se perguntas de dificuldade intermédia.

A ideia é avaliar “o que os alunos aprenderam” (conteúdos), “para que aprenderam” (competências) e a “profundidade com que aprenderam”.

Aceito, como referem diversas entidades do Ministério da Educação, que os especialistas do G.A.V.E, responsáveis pela elaboração os exames nacionais, dominem tal técnica, ainda que, por vezes isso não pareça claro. Há, contudo, um outro aspecto que lhe dá sentido e que na discussão em causa é crucial: como todas as técnicas, também esta é subordinada às opções de quem avalia. Efectivamente, em cada processo de avaliação, é preciso decidir o critério de rigor/diferenciação que se pretende obter. Critério de rigor/diferenciação que se consubstancia na proporção de perguntas de dificuldade mínima, média e superior que se introduz numa prova de exame. E, neste caso, é a Tutela que toma a decisão.

Então, o que devemos questionar, neste passo, é se é ou não um erro tal decisão ter recaído num critério de rigor/diferenciação mínimo; ou, se formos condescendentes, ter contemplado um critério de rigor/diferenciação médio; mas provavelmente ter excluído um critério de rigor/diferenciação superior.

Entendo que sim, que é um erro. E entendo mais: que é um erro muito grave. Poderia aduzir diversas razões para justificar a minha opinião, mas entendo que uma só é bastante por prevalecer em relação a outras: perverteu-se e dissimulou-se o objectivo dos exames nacionais, que é, relembro, distribuir os alunos numa escala pré-convencionada por referência a uma norma (de conteúdos e competências), como forma de perceber quem chegou a que patamares de aprendizagem.

Se, como país, entendermos que isso não interessa, tenhamos a coragem de dispensar este tipo de avaliação. Atitude que, apesar de errada, é menos errada do que aquela a que temos assistido.

5 comentários:

Anónimo disse...

Penso que provávelmente, depois do "sucesso" deste ano, poderá ser esse o próximo passo: acabar declaradamente com as reprovações, e inevitávelmente com os exames enquanto provas de avaliação de carácter sumativo e diferenciador das aquisições académicas dos alunos. Vários indícios têm apontado para isso, e este ano quase que o confirmam.

Hugo Mendes disse...

E não é que Sarkozy fez isso mesmo?

http://www.alternatives-economiques.fr/education--lycees--grandes-manoeuvres_fr_art_720_37391.html

Ai a direita, tão facilitista...

Clairvoyant disse...

Com muitas palavras tiradas de um dicionário diferente daquele que possuem a maioria dos portugueses, a srª Helena acaba por referir o mesmo que qualquer educador ou aluno interessado diz pelas ruas deste país à beira mar desgraçado. E atenção, é importante que se diga nas mais diversas linguagens, talvez assim consigamos que exista algum impacto.

Já assisto a isto à algum tempo. Ao facilitismo e ao nivelamento por baixo. Nos tempos em que eu andava no 7º ano, era a época do choradinho no final do ano para os professores darem a nota, coisa que ainda se estendeu mais alguns anos. Só lá pelo 11º é que a coisa começou a mudar, já que os professores exibiam uma falta de pachorra para esses choradinhos, não adiantando continuar depois de os ouvir apelar para pelo menos conservarmos a nossa dignidade.

Por casualidade do destino acabei por não ir para a faculdade, tendo passado por duas formações distintas em escolas profissionais, afastadas entre si quase 10 anos.

Até aí, o facilitismo está lá. A diferença é que não são ensinadas coisas que provavelmente nunca farão falta num contexto de trabalho. É mais direccionada para a produção, menos para a criatividade.

E verifique-se que na maioria dos postos de trabalho, a criatividade só nos traz chatices. Existe alguém para pensar, e não somos nós (se bem que muitas vezes essa pessoa parece deixar o cérebro em casa).

Quem chumba nas escolas profissionais? Desde essa altura (1995) assisti a classificações avulsas, gente a passar na disciplina sem merecer, formadores que se estão nas tintas desde que o dinheiro chegue à conta no fim do mês.

10 anos volvidos, encontrei uma selecção do pior dos piores. Os maus vícios estavam lá todos, acompanhados de alguns novos, e os velhos tinham sido refinados. O importante era que não se falasse dos podres, que todos conheciam.

Até no ensino mais vocacionado para a entrada no mundo do trabalho, esta fantochada se perpetua. Não é um problema exclusivo do ensino oficial.

Mesmo no local de trabalho, as pessoas raramente são avaliadas segundo as suas competências. Se o chefe ou empregador não estiver com as calças na mão, muitas vezes prefere manter o amigalhaço e despedir aquele que realmente resolve os problemas na empresa.

Este problema existe à décadas, pelo menos. Não tinha atingido o ensino com especial gravidade, mas todos nós conhecemos relatos de alguém, ou temos os nossos.

Isto tem raízes espalhadas bem fundo na nossa cultura. Agora estamos mais pressionados pela UE, e como tal, até a vergonha se foi, e é preferível que se saiba aqui do que lá. Numa Europa em que vivemos todos de estatísticas, e em que se sabe que até os grandes fazem batota, o futuro parece no mínimo decrépito. Estamos num ciclo de decrescimento, a estupidificar em nome da imagem externa, e muitos dos comentários que vejo neste blog acerca deste assunto mostram pessoas que se sentem parte de uma espécie em vias de extinção: aqueles que realmente tiveram de merecer os seus títulos académicos, e que não dependem da esperteza alheia para articularem as suas próprias ideias.

Não vale a pena chorar pelo passado, mas quanto choraremos nós no futuro?

alf disse...

Uma coisa que sempre me impressionou foi que muitos dos meus colegas de curso, de universidade, que tinham feito os mesmo exames que eu para tirar o curso, exames que eu achava dificeis, depois na vida prática pareciam completamente ignorantes da matéria do curso. De quase tudo, mesmo do liceu.

Intrigava-me. Eu pensava que muitos teriam feito o liceu na provincia, se calhar tinham passado à custa de galinhas.. mas não podia ser isso, eles tinham feito tb o mesmo dificil curso que eu fiz.

Isto tempo da outra senhora, que dizem que tinha os tais exames a sério.

Só há dias comecei a perceber, com os textos do Feynmann que o Rui Leprechaun postou no meu blog - as pessoas podem saber as fórmulas todas e, no entanto, não saberem nada! Não estabelecerem relação nenhuma entre a matéria que decoram para os exames e os fenómenos da natureza ou da vida.

Sabem perfeitamente calcular um integral, mas não têm a mínimia ideia do que seja tal coisa, não lhes ocorre usar um integral ou uma derivada para descrever um fenómeno que têm de analisar.

Há muitos anos já eu estava num paios africana e um jovem estudante veio-me pedir ajuda para resolver uns exercícios de matemática. O primeiro era um sistema de 3 equações a 3 incógnitas, que ele resolveu perfeitamente, para minha surpresa, pois não estava à espera de tal eficiencia dadas as condições de que os estudantes dispunham (iam estudar para a rua à luz dos candeeiros publicos porque em casa não havia luz)

Mas depois veio um exercicio muito mais simples e para meu espanto verifiquei que ele ignorava coisas verdadeiramente elementares. Tinha resolvido o sistema à custa de regras decoradas como se fosse um jogo!!!


E é isto que eu encontro constantemente. Há um problema de fundo no ensino muito mais sério que os exames.

Clairvoyant disse...

Ao leitor ALF:

Precisamente o que eu passei à anos quando quis fazer o exame de 11º.

Tive uma explicadora que me preparou em 3 meses, e quando cheguei a ela estava com dificuldades em matérias de 8º. Ela estabeleceu uma prioridade, fazer com que eu passasse no exame, coisa que conseguimos. Mas após ter conseguido isto, estava na situação descrita no seu post. Só tinha decorado regras, pouco sabendo sobre a ligação dessas matérias com o mundo real.

Anos mais tarde abordei este assunto com ela, ao que me respondeu que tinha plena consciência de que o que eu lhe dizia era verdade, mas estudar a matéria de 3 anos em 3 meses não lhe tinha deixado margem para mais.

Agora pergunto eu... em 3 meses consegui esse resultado, aparentemente igual ao que os alunos no ensino oficial conseguem em 12X esse tempo. A minha explicadora teve a desculpa de um objectivo a cumprir em tempo muito curto. E nas escolas, qual é a desculpa? O tempo é maior mas nem por isso muito alunos saem a saber mais do que eu.

Mais tarde vim a perceber a lógica por trás destes cálculos, e como os aplicar correctamente a problemas comuns que se nos apresentam todos os dias da nossa vida. Mas não deveria ter sido assim. Na altura em que aprendi, deveria ter sido mais do que um papagaio a repetir teoremas e a aplicar regras para fazer uma coisa que eu não sabia para que era, excepto a passagem num exame.

35.º (E ÚLTIMO) POSTAL DE NATAL DE JORGE PAIVA: "AMBIENTE E DESILUSÃO"

Sem mais, reproduzo as fotografias e as palavras que compõem o último postal de Natal do Biólogo Jorge Paiva, Professor e Investigador na Un...