sábado, 27 de dezembro de 2014

A pseudo-avaliação

Artigo de Teresa Firmino no Público de hoje (na imagem a astrofísica espanhola Amata-Noro contra a qual se desencadearam as fúrias da ESF a propósito da avaliação da ciência portuguesa):


Em 2014, Carlos Fiolhais deu voz a muitas outras que receavam fazê-lo para criticar a política de ciência do Governo. "Primeiro foi o corte de mais de 30% das bolsas de investigação e depois foi o abate de cerca de 50% das unidades de investigação por um processo muito defeituoso de ‘avaliação'", sintetiza o físico da Universidade de Coimbra.

 É difícil Carlos Fiolhais, físico e divulgador de ciência, não contagiar os outros com um sentido de humor em que joga com as palavras e uma boa gargalhada. Mas 2014, o ano em que a crise na ciência portuguesa tomou forma e as críticas à actual política científica se tornaram públicas e audíveis, não vai deixar-lhe motivos para sorrisos. E ele destacou-se entre essas vozes e deu voz a muitas outras que receavam fazê-lo.

“Em 2014, para grande espanto geral, o Governo tentou fazer uma diminuição drástica da ciência em Portugal. Primeiro foi o corte de mais de 30% das bolsas de investigação e depois foi o abate de cerca de 50% das unidades de investigação por um processo muito defeituoso de ‘avaliação’”, sintetiza Carlos Fiolhais.

O físico refere-se a dois factos principais que tiveram repercussões ao longo do ano. Logo em meados de Janeiro, a Fundação para a Ciência e a Tecnologia (FCT), tutelada pelo Ministério da Educação e Ciência, anunciou o número de bolsas de 2014: 399 bolsas de doutoramento e 438 de pós-doutoramento.

Houve ainda 431 bolsas dadas pela primeira vez a programas de doutoramento. Somando as bolsas de doutoramento individuais e dos programas doutorais, em 2014 deram-se 830 bolsas — um corte de 31% face ao concurso anterior, que deu 1198 bolsas. E as bolsas de pós-doutoramento passaram de 677 no concurso anterior para as já referidas 438 — um corte de 35%. Tudo isto desencadeou os primeiros protestos que desembocaram numa manifestação à porta da FCT, ainda em Janeiro.

 Em Junho, veio o anúncio dos primeiros resultados da avaliação aos centros de investigação portugueses, o outro facto a que se refere Carlos Fiolhais. A FCT avaliava 322 centros do país, em colaboração com a European Science Foundation (ESF), para atribuir financiamento para despesas correntes e actividades científicas estratégicas, até 2020. O bolo a repartir é de 71 milhões de euros por ano.

 Nos dias seguintes a essa apresentação, quase no fim de Junho, os protestos ganharam expressão. Essa primeira fase já ditava o fim do caminho para quase metade dos centros, que não passavam para a fase seguinte. Não iriam receber dinheiro ou iriam receber muito pouco (no máximo 40.000 euros) — e muitos cientistas consideraram que isso levaria ao fim dessas unidades. Entre os 322 centros avaliados, ficaram pelo caminho 144 centros (44,7%), enquanto 178 (55,2%) passavam à segunda fase. E seria deste último lote que, no fim da avaliação, iriam sair os centros “excepcionais” e “excelentes”.

A 30 de Junho, Carlos Fiolhais pronunciou-se pela primeira vez sobre a avaliação, no blogue De Rerum Natura, de que é um dos fundadores. Foi duro, até porque era amigo de Nuno Crato, ministro da Educação e Ciência. “A FCT ensandeceu” era o título do post: “Quer acabar com a ciência em Portugal”, dizia. Nesse comentário, que evidenciaria Fiolhais como um dos principais rostos da contestação à actual política científica, o físico escreveu ainda: “O ministro da Ciência, Nuno Crato, demitiu-se há muito de o ser e agora, quando vê os ‘coveiros da ciência’, parece não querer fazer mais do que deitar terra para cima. A FCT e o ministro Crato estão a escrever uma página negra da ciência em Portugal.”

 Para lá de Portugal

 Mas apresentemos Fiolhais: tem 58 anos, doutorou-se em 1982 em física teórica na Alemanha, na Universidade Johann Wolfgang Goethe, em Frankfurt, e é professor catedrático da Universidade de Coimbra desde 2000. Em 1992, publicou um artigo científico, entre os mais de 130 do seu currículo, que é o mais citado de sempre de um autor em Portugal. Tem agora mais de 11.000 citações. E o seu segundo artigo mais citado é... uma errata àquele artigo, o que o faz... rir. E esse artigo apresenta uma nova fórmula matemática que descreve a ligação dos átomos entre si — a sua cola —, que torna possível a formação de moléculas, sólidos e superfícies. É autor de 45 livros, sozinho e em parceria, dos quais cerca de metade são de divulgação científica. Um deles, Física Divertida, de 1991, já vendeu mais de 20.000 exemplares em Portugal, e também há uma edição brasileira e está traduzido em Espanha e Itália. Em preparação, tem uma antologia da ciência na literatura portuguesa – “a que dei o nome, tirado a Camões, Vi claramente Visto”. Entre outras actividades, é o responsável pela colecção Ciência Aberta, da Gradiva, onde nos últimos dois anos editou dez livros. Por ano, vai a cerca de 30 escolas – “uma das coisas que mais me apaixona é falar sobre ciência aos jovens”.

 Voltando à avaliação da FCT, o que levou Fiolhais a esta luta? “Não sou responsável por nenhum centro de investigação. Nem sequer por nenhum grupo. Mas fiquei indignado quando reparei no final da primeira fase da ‘avaliação’ que alguns dos melhores centros e dos melhores cientistas portugueses estavam, por um processo arbitrário e em vários aspectos ilegal, excluídos do sistema. Como vivemos num país livre falei”, responde. “Preocupam-me em particular os jovens cientistas que se vêem sem futuro e têm de emigrar.”

A meio de Julho, soube-se que a FCT pré-definiu, antes da avaliação, que só passariam à segunda fase metade dos centros, segundo o contrato que assinou com a ESF (“a primeira fase da avaliação irá resultar numa shortlist de metade das unidades de investigação que serão seleccionadas para seguir para a fase 2”, lê-se).

 Foi então que as críticas aumentaram. No final de Julho, a avaliação chegou ao plenário da Assembleia da República, discutidos numa proposta de protesto do PS — e chumbada pela maioria. Nessa altura, o Conselho dos Laboratórios Associados, uma rede de 26 centros, acusou o Governo de “irresponsabilidade política”. E em Outubro, o Conselho de Reitores das Universidades Portuguesas (CRUP) acabou por dizer que a avaliação não tinha “a necessária qualidade”.

“Fiquei indignado quando reparei, no final da primeira fase da ‘avaliação’, que alguns dos melhores centros e dos melhores cientistas portugueses estavam, por um processo arbitrário e em vários aspectos ilegal, excluídos do sistema. Como vivemos num país livre, falei”

 Fiolhais e os colegas do blogue foram escrevendo e publicando opiniões de outros. “O De Rerum Natura deu voz a muitos cientistas descontentes. Tivemos um pico de audiência em Julho, com mais de 112.000 pageviews. Publicámos sobre o assunto cerca de 200 posts, muitos recebidos de autores
externos.”

Foi contactado por cientistas que quiseram manter o anonimato. “Muitos cidadãos ainda não interiorizaram que vivemos num país onde o Governo pode e nalguns casos, como presente, deve ser criticado. Os governados devem ser exigentes em relação a quem os governa.”

 A contestação extravasou fronteiras. “A avaliação é essencial em ciência. Por isso é que uma avaliação mal feita é trágica: não só semeia a injustiça, como mina a própria ideia de avaliação”, esclarece antes de mais. “O nosso blogue é muito visto não só em Portugal, como, por ordem, no Brasil, nos EUA, na Alemanha, na França e no Reino Unido. Um efeito colateral desta crise da ciência em Portugal foi a tomada de consciências dos cientistas nossos colegas lá fora da situação em Portugal. Pela primeira vez a Physics Today, revista da Sociedade Americana de Física, dedicou três páginas a Portugal.”

 Também chegou à revista Nature, em Outubro, rerefido numa única frase num artigo de opinião da cientista espanhola Amaya Moro-Martín sobre a ciência na Europa e onde dizia que “Portugal pode ter de fechar metade das suas unidades de investigação, devido a um processo de avaliação com falhas apoiado pela ESF”. Jean-Claude Worms, da ESF, não gostou e disse-lhe num email: “Se a sua alegação não for retractada publicamente na Nature, a ESF será compelida a tomar as acções legais apropriadas.”

O De Rerum Natura deu voz ao caso. “Só um post sobre a ameaça à nossa colega espanhola teve mais de 7500 visualizações. Foi o recorde de visualizações nos sete anos do blogue”, diz Fiolhais.
 No final de Novembro, ficou ainda a saber-se que, tal como na primeira fase da avaliação havia quotas para os centros que passariam, havia limites máximos paras as notas mais altas na segunda fase. A FCT deu essas instruções aos peritos da avaliação: entre os 178 centros nesta fase, um máximo de 10% (cerca de 18) poderiam ter a nota Excepcional e 20 a 35% (35 a 62) a nota Excelente. As instruções foram seguidas, como mostrou o anúncio dos resultados três dias antes do Natal: 11 centros (6%) tiveram Excepcional e 52 (29%) Excelente, que terão 47 milhões de euros por ano. E os 167 centros com Excepcional, Excelente e Muito Bom terão 70 dos 71 milhões de euros. O restante um milhão será para 90 centros com Bom, enquanto 65 (com Razoável e Insuficiente) não terão nada.

“A FCT tratava, em geral, mal os investigadores, mas tudo isso lhe era desculpado. Mas em 2014 os bolseiros vieram para a rua. E os responsáveis da maioria das unidades de investigação expressaram a sua indignação com a quota escondida de 50% de unidades a eliminar. Até os reitores se juntaram para criticar por unanimidade a pseudo-avaliação encomendada numa cláusula escondida à ESF”, resume. “Ficou claro o que o Governo queria fazer: em nome da ‘excelência’, nunca explicada, queria executar um processo de ‘poda’ geral dos laboratórios. Não cortou os ramos podres, cortou rente, um pouco ao acaso, metade das árvores. O funcionamento de base do sistema fica seriamente prejudicado e a dita excelência fica sem qualquer sustentação”, prossegue. “Cortes brutais na ciência e no ensino superior são inaceitáveis. Logo que o ministro se apercebeu de que não tinha peso político devia-se ter demitido.”

 Perguntámos a Fiolhais se a crise na ciência o fez perder um amigo. “O Nuno não me abandonou só a mim, o que me deixaria triste, mas abandonou a ciência portuguesa, o que me deixa muito triste. Está comprometido com um dos piores governos que tivemos.”

 E 2015, ano de eleições legislativas? “O mais provável é haver um outro governo que dê mais atenção à ciência. Este Governo é, nesta como noutras áreas, para esquecer. Em democracia a regra é a renovação e a esperança.”

8 comentários:

  1. Agora é que podemos dizer: RIP Portugal. Cortar na ciência é um acto talibano. E tem assinatura directa: Nuno Crato & capangas.

    ResponderEliminar
  2. Sim, os cortes na ciência são intoleráveis e inaceitáveis, mas é preciso separar várias coisas aqui.
    Primeiro: pela primeira vez, os avaliadores não foram escolhidos por amigos, como era no tempo de outras FCT.
    Segundo: a avaliação pela primeira vez deu a hipótese de reacção e obrigou os avaliadores a escreverem mais do que dois ou três linhas.
    Terceiro: o Carlos Fiolhais escreve em defesa da ciência agora, mas quando na avaliação de 2008 houve um corte severo com vários centros de excelência a descer classificações sem justificação, não disse nada porque a física foi poupada.
    Quarto: isto é tudo farinha do mesmo saco. Agora a FCT salva as coisas médicas, como no tempo do Mariano Gago salvava as coisas da física.

    ResponderEliminar
    Respostas
    1. "Primeiro: pela primeira vez, os avaliadores não foram escolhidos por amigos,
      como era no tempo de outras FCT."

      Mesmo sendo verdade (seria bom ver exemplos dos casos anteriore e ter a certeza que isso não se passou agora, o que não é nada claro), é numericamente impossível que todos os centros com excelente e muito bom nas avaliações anteriores (que recebiam financiamentos consideráveis) tivessem influenciado a escolha dos painéis e muito menos nomeado amigos para os mesmos.

      "Segundo: a avaliação pela primeira vez deu a hipótese de reacção e obrigou os avaliadores a escreverem mais do que dois ou três linhas."

      Parte dessa discussão nas avaliações anteriores tinha lugar durante a visita, com todos os membros dos painéis presentes. Não era feita por escrito, mas também não tinha restrição ao número de caracteres. Da experiência que tenho, era nessa altura que a reacção tinha lugar, e era muito mais eficiente.

      Em relação ao que se passou desta vez, tratou-se mais de cosmética que outra coisa. De facto, e em muitos casos, as reclamações (rebuttal) nem sequer chegaram aos painéis, tendo sido filtradas pela FCT - que disse a quem perguntou que "não se podia perturbar os painéis por tudo e por nada". Uma implicação é que em muitos casos foi a própria FCT quem escreveu as respostas. Aliás, e em relação à interferência directa da FCT no processo, não é nada claro como é que foram decididos os financiamentos unidade a unidade, quando alguns dos membros dos painéis durante as visitas declararam que apenas davam as pontuações.

      "Terceiro: o Carlos Fiolhais escreve em defesa da ciência agora, mas quando na avaliação de 2008 houve um corte severo com vários centros de excelência a descer classificações sem justificação, não disse nada porque a física foi poupada."

      Em 2008 esses centros não ficaram sem financiamento (ou com os valores ridículos agora atribuídos à classificação de 'Bom'). Isso já é uma diferença fundamental.

      "Quarto: isto é tudo farinha do mesmo saco. Agora a FCT salva as coisas médicas, como no tempo do Mariano Gago salvava as coisas da física."

      Isso é parcialmente verdade, e é claro que a linha que toma conta da ciência (que neste caso não inclui o ministro, que se limita a assistir ao que se passa) não deve ser constituída por pessoas da mesma área ou da mesma escola. No entanto volta a fazer sentido lembrar que em 2008 não houve a eliminação do financiamento de quase 50% dos centros - essas situações, a existir, não são comparáveis.

      Além disso, e em relação aos terceiro e quarto pontos, o facto de ter havido uma reacção sem precendentes - querer reduzir isto ao que se passa no "blog do Fiolhais" ou a teorias de conspiração é ridículo - mostra que, de facto, alguma coisa foi diferente desta vez.

      Eliminar
    2. Como é que se pode dizer que não houve eliminação de centros. A quantidade de centros com fair foi elevadíssima em 2008. E a arbitrariedade na avaliação inexplicável. Não sabíamos o que o painel dizia de cada critério, porque só recebíamos uma avaliação global. Houve reduções na classificação por imposição da FCT, o que foi reportado pelos próprios painéis. Houve muita ciência aniquilada em 2008 tal como houve agora. A diferença é que havia mais dinheiro do que agora.

      Eliminar
    3. Nesta avaliação (2013) há um documento que descreve explicitamente as instruções dadas aos painéis para cortar 50% das unidades. Seria bom indicar onde está a prova do que escreveu relativamente a 2008: se os próprios painéis "reportaram" isso, deve ser possível mostrar essas provas.

      Deve também ser possível apresentar dados (tal como foi feito agora), que mostram que centros com qualidade foram "aniquilados" e que a avaliação não é consistente. Isto para já não falar que a quantidade "elevadíssima" que refere foi, de facto, de 13% dos centros - não esquecer incluir os LA para fazer essas contas...

      Sem isso, corre o risco de ser tomado como um porta-voz anónimo desta
      direcção da FCT a tentar vender mais uma vez que a situação actual é igual à de 2008.

      Eliminar
    4. Falo sabendo o que aconteceu na avaliação dos centros de História. O painel na visita disse ter instruções para reduzir o número de centros excelentes. Claro que não escreveram nada, mas isso foi dito e foi o que se viu. Não sou porta-voz anónimo de ninguém, porque acho que a FCT é o que sempre foi: uma instituição em que os interesses de alguns (agora médicos, outrora físicos) se constroem nos corredores, sem transparência e sem vergonha. Não me venham é dizer que tudo é mau agora e que era tudo muito bom. Calaram-se as vozes dos grandes em tempos, pondo os laboratórios associados fora da corrida e agora calaram-se alguns incómodos com repescagens da primeira para a segunda fase. Tudo lixo igual.

      Eliminar
    5. O facto de haver problemas com as avaliações anteriores (uma avaliação a este nível terá sempre coisas que não funcionam bem) não é justificação para que o que se passa neste caso não seja exposto pelo que é.

      Mais precisamente, há uma enorme diferença conceptual entre decidir retirar a classificação de excelente a alguns centros (no post anterior utilizou a palavra "aniquilar", que não e bem a mesma coisa) e escrever um documento onde se dá ordem para eliminar 50% dos centros da corrida ao financiamento. Não estou a defender a primeira, mas parece-me muito claro que não é tudo igual, nem de um ponto de vista de princípio, nem nas implicações que cada uma destas acções tem.

      Aliás, há também uma enorme diferença prática entre excluir 17% (Poor+Fair em 2008) ou excluir 50% das unidades do financiamento.

      Estou no entanto de acordo com o que escreveu no penúltimo parágrafo: ao decidirem aceitar os resultados desta avaliação, as unidades dão um sinal de falta de maturidade e de quem aceita a lei da selva desde que também lhes caia alguma coisa no prato. Embora existam sempre desvios em todas as avaliações e em todo o lado, uma operação a esta escala nalguns outros países teria sido suficiente para que os seus responsáveis tivessem sido (pelo menos) exonerados imediatamente.

      Eliminar
  3. “A avaliação é essencial em ciência. Por isso é que uma avaliação mal feita é trágica: não só semeia a injustiça, como mina a própria ideia de avaliação” [Carlos Fíolhais]

    “É preciso notar que, mesmo hoje, a investigação fundamental (ou pura) não será frutuosa se não se abstrair, pelo menos temporariamente, da utilidade imediata dos resultados a que essa investigação pode conduzir. Para chegar a resultados de real interesse o investigador necessita de muito tempo livre, ausência de preocupações materiais e independência mental.” [A Matemática na Antiguidade – J. Sebastião e Silva]

    Eu creio que as afirmações transcritas em cima são contraditórias. Depreende-se que a forma como a ciência se faz é incompatível com a ideia de avaliação. O cidadão comum certamente que compreende as palavras do professor Sebastião e Silva, e por isso até aceita de bom grado que a avaliação não é essencial, principalmente pela dificuldade ou impossibilidade em saber á priori os resultados a que pode uma investigação conduzir, ou quanto tempo levará a aparecerem e respectiva utilidade, etc., mas se isso lhes for explicado pelos cientistas, (não por políticos, evidentemente) o cidadão comum compreende. Só depois de criadas as condições indispensáveis, é que se pode começar a pensar em fazer investigação cientifica de valor em Portugal.


    Nota: São os políticos que, como não tem credibilidade, pedem avaliações para tudo, na tentativa de ganhar alguma. O que é lamentável é os cientistas cozerem-se com as mesmas linhas dos políticos, e reclamarem avaliações em investigação cientifica como se lhes falta-se também a credibilidade!
    Este pensamento virado para a utilidade imediata da ciência, e sua aplicação à industria (empresas privadas) está incutido na comunidade cientifica portuguesa (inúmeros centros de investigação com essa finalidade) muito por culpa do senhor Mariano Gago. E de tal forma está que, muitas vezes, chama-se ciência às aplicações que dela vão derivando, querendo fazer crer que se está a fazer investigação fundamental (ou pura). Todo este tormento, constitui afinal a triste herança que Mariano Gago deixou no país, hoje pensa-se em ciência com o mesmo propósito daquele laboratório que tem a patente de um tratamento para a hepatite C, e que pretende ganhar milhões com a sua venda! Foi por esta “ciência” desumana que Mariano Gago optou, e que hoje seguimos.

    ResponderEliminar

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.