segunda-feira, 30 de dezembro de 2013

O que se passou, afinal, com os testes PISA?

Artigo de opinião de Filipe Oliveira saído no jornal Público no dia 28 do corrente mês.

A publicação do relatório do PISA 2012 suscitou todo o tipo de reações. Infelizmente, muitas delas mais propagandísticas do que fiéis à realidade.

Uma das mais surpreendentes foi a de uma ex-ministra, que atribuiu a estagnação verificada entre 2009 e 2012, entre outros, ao facto de os “programas de ensino da matemática que estavam em vigor terem sido substituídos por outros, à pressa e contra os pareceres das associações de professores”. Ora uma ex-ministra da Educação deveria saber que os anteriores programas foram revogados em maio de 2013 e que os novos apenas foram introduzidos em setembro deste ano (e só nos 1.º, 3.º, 5.º e 7.º anos de escolaridade), enquanto os testes PISA foram realizados em abril de 2012, mais de um ano antes de o novo programa começar a vigorar. Este documento nunca poderia, portanto, ter qualquer efeito nos resultados, mas isso parece constituir apenas um detalhe pouco relevante nesta linha de argumentação.

Outros comentadores consideraram que os progressos feitos pelos alunos portugueses entre 2003 e 2012 (apesar da tal estagnação verificada a partir de 2009, que, quando não é omitida, é designada por “período de consolidação”) são a prova de que a escola facilitista nunca existiu, aproveitando para apontar o dedo a todos aqueles que, nas últimas décadas, defenderam um ensino estruturado e exigente, pautado por avaliações objetivas e rigorosas.

O argumento parece ser o seguinte: se Portugal melhorou neste período, é porque todas as medidas de política educativa que, em simultâneo, se foram implementando revelaram-se certeiras, e quem quer que as tenha criticado não o deveria ter feito. O argumento poderia fazer algum sentido (e ainda seria necessário explicá-lo) se existisse um intervalo de tempo razoável entre a implementação das medidas e a verificação das melhorias.

Um intervalo de tempo que permitisse que as medidas produzissem efeitos. Mas insiste-se em apresentar argumentos demagógicos e de grande falta de rigor. Um exemplo paradigmático desta linha de raciocínio é, mais uma vez, o Programa de Matemática, o tal que foi revogado em 2013. Ainda que, em 2011, não estivesse totalmente implementado no 4.º ano de escolaridade (cerca de 2/3 dos alunos não tinham ainda tido qualquer contacto com ele, sendo que os restantes apenas o seguiam há pouco mais de um ano), é por vezes apontado com o grande responsável pelos progressos dos alunos portugueses do 4.º ano no TIMSS de...2011. É mais uma vez a consequência que precede a causa! Em março de 2013 tive oportunidade, no Conselho Nacional de Educação, de ouvir longamente esta linha de argumentação, curiosamente pela voz do próprio coordenador do Programa em causa.

A verdade é que todas estas leituras apressadas e enviesadas são muito preocupantes porque matam à partida a possibilidade de se desenvolver uma reflexão profunda e informada sobre o estado da Educação, o seu passado e as suas perspetivas de evolução. Há menos de 20 anos, o TIMSS de 1995 traçava um quadro negro da nossa situação. Frequentava então o 4.º ano uma geração que tinha sido pouco exposta a avaliações sistemáticas. Os resultados dos alunos eram muitas vezes remetidos para segundo plano, contrapondo-se-lhes “atitudes”. Muitos defendiam o “sucesso a que todos têm direito”, independentemente do desempenho de cada um. Nestes tempos, sem sequer haver um simples exame em toda a escolaridade obrigatória, do 1.º ao 9.º ano, os alunos não reuniam condições razoáveis para realizar provas internacionais. É que, contrariamente ao que dizem os supracitados comentadores, a escola facilitista e o conjunto de fantasias pedagógicas a que se chamou “eduquês” - termo que voltou agora à ordem do dia – têm dezenas de anos. Só começaram a entrar em recessão no início deste século. Para isso muito contribuiu, a partir de 2002, o ex-ministro da Educação David Justino. Entre muitas outras medidas, reintroduziu os exames nacionais do Ensino Básico e promoveu um verdadeiro debate nacional em torno da necessidade de avaliações rigorosas e credíveis e de um ensino sério e com objetivos mensuráveis, próprio das sociedades modernas. Desde então, muitas outras personalidades lutaram por estas ideias, consciencializando a comunidade educativa e a sociedade em geral, denunciando avaliações fraudulentas ou muito suspeitas (como os Exames Nacionais de Matemática A de 2008), e ajudaram a construir progressivamente uma sociedade que encara a qualidade do Ensino como um desígnio nacional.

É uma ignomínia fazer tábua-rasa deste historial e atribuir o sucesso relativo das últimas avaliações internacionais a algumas medidas bem mais recentes e que chegam até a ser, frequentemente e tal como foi explicado, escandalosamente anacrónicas.

Falo em sucesso relativo porque, na verdade, um dos aspetos mais importantes do TIMSS e do PISA, de que curiosamente não se fala (ou se fala pouco), é o da falência, em vários aspetos, de muitos dos sistemas de ensino ocidentais. Em todos estes países, o TIMSS demonstra que mais de 50% dos alunos, tanto no 4.º como no 8.º ano, apenas conseguem resolver problemas triviais de resposta imediata (isto é, não ultrapassam o segundo benchmark), situação que contrasta de forma muito preocupante com a realidade dos países asiáticos. Como foi referido, Portugal fez grandes progressos desde 1995. Encontra-se com uma média próxima da média da OCDE (ainda que abaixo) no PISA de 2012. Mas a verdade é que dados do GAVE referentes a esse mesmo ano mostram que cerca de metade dos alunos portugueses do 6.º ano são incapazes de identificar, de entre quatro respostas possíveis, aquela que corresponde a 30% de 60 euros.

Assim como muitos outros países europeus, temos ainda um enorme caminho a percorrer no sentido de alterar este estado de coisas, em particular esta falta de conhecimentos muito básicos que prejudica o percurso escolar dos alunos, lhes retira oportunidades futuras e compromete seriamente o desenvolvimento do país. E para melhorar temos de ser humildes e reconhecê-lo. É natural existirem reações e opiniões diversas. Mas não nos podemos esquecer que a avaliação, a exigência e o rigor são certamente fatores decisivos para a melhoria do ensino.

Filipe Oliveira

6 comentários:

  1. "... todas estas leituras apressadas e enviesadas são muito preocupantes porque matam à partida a possibilidade de se desenvolver uma reflexão profunda e informada sobre o estado da Educação" não podia estar mais de acordo ! É o principal problema do nosso sistema educativo há demasiados anos ....

    ResponderEliminar
  2. Caro:
    Depois de vergastar impunemente quem o merece por ter feito apropriações indevidas, anacrónicas algumas, como aponta, e de repor a verdade sobre a verdadeira origem da nossa tímida melhoria dos resultados nestas provas, interrogo-me: onde cabem aqui «Os Anos Devastadores do Eduquês»?
    Mesmo na minha matemática eduquesa 30 anos após o 25 de Abril dá até 2004.
    Em 1995 estávamos ainda muito mal, as verdadeiras medidas que deram substância à coisa foram de David Justino, de 2002.
    Como não produzem resultados instantâneos, continuaram os «Anos Devastadores…» até 2004 (pelo menos). E a partir de 2009 parece que já tivemos outra recaída.
    Independentemente das apropriações indevidas e dos progressos muito aquém do desejável, ao menos diga-nos se progredimos alguma coisa ou se continuamos os «Anos Devastadores…».
    É que o Caro baralha, dá, recolhe, baralha de novo e não se percebe nada.
    Afinal, o Relatório incomodou-o tanto que lhe bloqueou a mente?
    Mudando a agulha da propaganda barata para a realidade.
    Coeva com «Os Aos Devastadores do Eduquês» é esta realidade traduzida em factos, objectiva, mensurável (pela matemática não eduquêsa), que retrata uma realidade bem diferente.
    Como é que 30 anos devastadores do eduquês conseguiram fazer de tantas centenas de milhar de analfabetos todos estes doutores e investigadores, mais outras centenas de milhar de engenheiros, economistas, médicos, enfermeiros, arquitectos, etc., espalhados por quase todos os países desenvolvidos do mundo?
    Quando os responsáveis nesses países se aperceberem de que lhes saiu gato por lebre vai ser bonito. Quando verificarem que os títulos que ostentam representam analfabetismo puro, eu nem quero pensar no que acontecerá.
    (continua)

    ResponderEliminar
  3. (continuação 1)
    «Portugal foi o país da UE que nos últimos vinte anos mais progrediu nas diferentes áreas da ciência. Os números falam por si. A despesa em investigação em % do PIB em 1995 foi 0.5 e em 2010, 1.6. Em 1990, havia 8000 investigadores, em 2010, 46.256, o que correspondia a 8.3 investigadores por mil ativos (a média da UE é 6 e a da OCDE, 8), a maior taxa de crescimento da Europa. Em 1990 realizaram-se 337 doutoramentos e em 2010, 1660. Quanto à produção científica referenciada internacionalmente no Science Citation Index, em 2000 somava 2602 artigos e em 2010, 8224. As patentes submetidas à European Patent Office foram 8 em 1990 e 165 em 2009. O crescimento do número de investigadores gerou uma dinâmica no setor privado, onde a integração de investigadores foi igualmente galopante: passaram de 4.014 em 2005 para 10.841 em 2009.
    O significado mais óbvio destes números é que eles mostram o caminho que Portugal estava a tomar para fugir à fatalidade de sermos um fornecedor de mão-de-obra barata. À medida que o sistema nacional de ciência se ampliava e os avanços científicos eram paulatinamente transferidos para a indústria e serviços, alterava-se a especialização internacional da nossa economia de modo a aproximá-la da que é típica dos países mais desenvolvidos. A mão-de-obra altamente qualificada manteria a vantagem comparativa do país já que, apesar de bem paga, seria mais barata que a correspondente noutros países europeus»
    (continua)

    ResponderEliminar
  4. (continuação 2)
    «Este esforço deu um salto qualitativo a partir de 2000 com a criação dos laboratórios associados (LA). Os LA resultaram da conversão de alguns dos melhores centros de investigação (com classificação excelente), aos quais foram dadas melhores condições para se expandirem, contratando investigadores exclusivamente dedicados à investigação e criando estruturas administrativas que lhes permitissem colaborar com outras instituições, celebrar contratos ou concorrer a financiamentos europeus. Isto permitiria ainda acabar com a situação perversa de Portugal, um dos países menos desenvolvidos da Europa, contribuir com mais dinheiro para os fundos de ciência da UE do que aquele que os seus investigadores obtinham em projetos. Pode discutir-se se outros centros mereciam ter sido convertidos em LA (situação que pode corrigir-se a qualquer momento, e aliás conduziu, ao longo dos últimos 12 anos, ao alargamento do leque inicial), mas o que não pode pôr-se em causa é o êxito da aposta nesta inovação do sistema científico e tecnológico nacional. Foram até agora criados 26 LA. Integram 28% do total dos investigadores doutorados; entre 2007 e 2012, obtiveram 88% dos financiamentos europeus do 7.º programa-quadro (122 milhões de euros) conseguidos pela totalidade dos centros de investigação. A renovação do pessoal científico tornada possível pelos LA explica que a maioria dos seus investigadores esteja abaixo dos 45 anos de idade, enquanto nos outros centros a maioria está acima dos 50 anos.
    O orçamento de 2013 deveria testemunhar a determinação de o país continuar a investir na investigação científica. Sendo objetivamente os LA a alavanca mais dinâmica desse investimento, resulta incompreensível que o próximo orçamento da FCT assuma uma atitude hostil em relação aos LA, expressa em duas medidas. Por um lado, enquanto a FCT sofre um corte ligeiro de 4,4% (aliás compensado pelo aumento dos fundos comunitários), os LA sofrem um corte médio de 30%, o que, nalguns casos, os torna insustentáveis. Por outro lado, apesar de os LA terem o seu estatuto renovado até 2020 (com avaliações intercalares), fala-se agora de uma outra “refundação” de todas as instituições científicas a partir de 2014 que pode comprometer esse estatuto. Tudo isto cria instabilidade que compromete um dos investimentos mais reprodutivos que o país realizou nos últimos vinte anos. Não esqueçamos que, dos 1200 investigadores contratados ao abrigo do Compromisso com a Ciência, 41% são estrangeiros. A fuga de cérebros já começou. A FCT está a tempo de evitar o pior, até porque não se trata de ir buscar mais dinheiro ao orçamento. Trata-se apenas de o distribuir com critérios de eficiência.»
    In revista «Visão».

    ResponderEliminar
  5. Caro:
    Como não deve frequentar o sítio «indecoroso» de onde retirei isto, e apesar de não ter pedido autorização ao autor, mas como ele não procura negócio não se deve aborrecer, aqui lhe deixo:
    «Inesperados para alguns, não tanto para quem segue com mediana atenção a evolução das reformas educativas na Europa e não só, os resultados dos testes PISA 2012 chegaram quase a acabar o ano e foram como aquela bigorna dos Monty Python a cair em cima dos promotores da narrativa acerca das reformas educativas de sucesso.« e do fracasso do nosso sistema educativo, em especial das escolas públicas.

    Ficou à vista de todos, mesmo dos que fingiram perceber outras coisas, o colapso dos resultados dos alunos dos países que aqueles que fazem o séquito do actual MEC em defesa da “liberdade de escolha” apresentavam como modelos maiores de sucesso nos testes internacionais que o próprio Nuno Crato há pouco tempo exaltava como a melhor maneira para comparar a performance dos sistemas educativos.

    Mantendo eu reservas sobre alguns aspectos dos testes de 2009 entre nós, não posso deixar de sublinhar que, apesar da estabilização dos ganhos em 2012, o desempenho dos alunos portugueses teve uma das melhores evoluções da última década e muito melhor do que a dos alunos suecos, australianos, neozelandeses e de outros origens que tanto nos quiseram apresentar como exemplos a seguir.

    Estamos ainda abaixo da média? Sim, mas somos dos que mais progredimos! Os resultados poderiam ser melhores? Nem por isso, atendendo ao contexto socioeconómico dos nossos alunos e ao atraso endémico que vivemos ao longo do século XX.

    Podem atribuir-se responsabilidades directas a este ou aquele governante, a esta ou aquela reforma específica? Não, pois os resultados de alunos com 15 anos e 9 de escolaridade não se explicam por reformas a 6 meses de distância, ou mesmo a 2-3 anos. São o resultado acumulado de um trabalho que se inicia 9 anos antes e que dificilmente permite saltos repentinos a meio ou no final do trajecto.

    Foram resultados obtidos com aquele sistema de ensino e aqueles professores que tanta gente andou preocupada em menorizar e ofender? Sim!

    Para vergonha de muitos escrevinhadores e tecladores de ocasião, especialistas instantâneos em Educação, com doutoramento honoris causa no caso dos que procriaram e têm filhos em idade escolar, os testes internacionais que tanto endeusaram (os PISA como os PIRLS e TIMMS) surgiram a provar o erro das suas teorias de algibeira.

    Só que, infelizmente, quem está e tem estado no poder é crente nessas teorias e o que tem sido feito no último punhado de anos é contra´rio a todo o bom senso e às evidências, colocando seriamente em risco os ganhos conseguidos.

    Os vários volumes relativos aos resultados e respectivas análises dos PISA 2012 deveriam ser leitura de cabeceira para quem quer mesmo manter o desempenho dos alunos portugueses em trajectória ascendente. Claro que devem ser colocados de lado por quem anda apenas à cata de negócio.»
    In blog A Educação do Meu Umbigo

    ResponderEliminar
  6. Não é verdade que "Em todos estes países, o TIMSS demonstra que mais de 50% dos alunos, tanto no 4.º como no 8.º ano, apenas conseguem resolver problemas triviais de resposta imediata (isto é, não ultrapassam o segundo benchmark)". Esta é uma leitura apressada e enviesada dos dados. Não atingem o terceiro nível realmente, mas isso não quer dizer que não ultrapassem o segundo. Ultrapassam sim, mas não de forma a serem colocados no terceiro nível. E o segundo nível não é propriamente trivial. Pretende-se denegrir tanto os países europeus que se diz que a "situação (...) contrasta de forma muito preocupante com a realidade dos países asiáticos." Ora não é bem assim, é só com certos países asiáticos, só com os países cuja sociedade e cultura bebem em Confúcio. Países como a Arménia, Irão ou Tailândia estão na Ásia e obtêm resultados medíocres... Ignora-se ostensivamente o peso da cultura confuciana na obtenção dos resultados escolares...
    Mas é verdade que há pouco debate sobre os resultados do PISA e do TIMSS. O Ministério da Educação, que devia estar na primeira linha da reflexão nacional, não promove qualquer debate!

    ResponderEliminar

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.