O mistério da avaliação da FCT

Publicamos um textoa cerca do processo de avaliação das unidades da FCT da autoria de investigador que pediu para o seu nome não ser divulgado.

Os resultados da primeira fase da avaliação das unidades de investigação por parte da FCT têm causado reacções várias dos avaliados. Na maior parte dos casos a perplexidade começa por ser o sentimento reinante do lado de quem vê anos de investigação esfumar-se no curto prazo, com base em comentários dos painéis de avaliação que não só não batem certo como nalguns casos roçam o surreal.

Já vimos o exemplo de um centro na área de estatística com classificações de 18-17-16 dadas pelos três avaliadores anónimos, que depois viu a sua classificação final ser baixada pelo painel para 14, a nota mais alta que ainda impede o centro de ir à segunda fase da avaliação. A justificação? Que por comparação com as outras unidades e num ambiente de competição feroz, esta não teria mérito suficiente para passar à segunda fase.

Este é apenas um de entre uma coleção notável de casos, uns mais bizarros do que outros, mas todos com um ponto em comum: justificar uma descida nas notas dadas pelos avaliadores para forçar uma unidade a não passar à segunda fase do processo de avaliação.

Temos também o facto de a avaliação bibliométrica encomendada pela FCT não estar minimamente correlacionada com os resultados obtidos nalgumas áreas em que os centros com melhor prestação nessa perspectiva foram deixados de fora. Uma avaliação deste tipo vale o que vale, mas quando um facto, por pouco significativo que seja, não bate certo com uma teoria (a da excelência e apenas a excelência passar à segunda fase), qualquer cientista digno desse nome deverá ficar algo apreensivo até poder ter a certeza de ter percebido o que se passa. E os cientistas responsáveis pela avaliação, ou seja, a direcção da FCT, ainda mais.

E o que diz a FCT no meio disto tudo? Que o processo de avaliação é competente para selecionar os melhores e apenas os melhores e também que foi totalmente isento, uma vez que foi levado a cabo por uma instituição europeia independente, a European Science Foundation (ESF), pelo que a FCT não teve nenhuma influência sobre os resultados.

Aqui estamos ao nível da opinião, mas nem todos os investigadores estarão de acordo sobre a capacidade desta avaliação em julgar a tal excelência, incluindo os que pertencem a unidades que passaram à segunda fase. Que dizer do facto de cada relator anónimo dar uma nota a uma unidade sem ter acesso nem saber quais as outras unidades com a qual esta está em “feroz competição”? Ou do facto dos painéis serem mistos (várias áreas como a Ciência dos Materiais, Física, Matemática e Química todas no mesmo painel) e terem um número reduzido de elementos em cada uma das áreas que os compõem, mas que se sentem suficientemente à vontade para desautorizar os relatórios dos peritos, como no caso do centro de estatística mencionado acima? E isto apesar de não haver nenhum estatístico no painel.

Nada disto segue os tais melhores padrões internacionais utilizados por instituicões públicas quando está em jogo a atribuição de fundos em larga escala a um número reduzido de unidades ou investigadores. Veja-se, por exemplo, o caso do European Research Council que, para a atribuição anual de bolsas individuais de excelência tem 25 painéis para cobrir todas as áreas (no caso da FCT isso foi feito com 6, mais um painel multidisciplinar) um dos quais é, por exemplo, um painel numa subárea da Física (Física da Matéria Condensada) com tantos membros como o painel da FCT que devia cobrir as Ciências Exactas todas. Nestas condições, os membros do painel serão, na melhor das hipóteses, gestores de opiniões.

Pode tentar argumentar-se com questões de escala. Mas quem não tem meios para levar a cabo uma avaliação a este nível como deve ser e com a garantia que de facto os resultados satisfazem aquilo que é proposto, não se pode dar ao luxo de brincar à excelência – Faut pas jouer les riches, Quand on n´a pas le sou.

Pode ainda questionar-se se fazer uma selecção pela excelência a este nível (que retira todos os meios a un número considerável de unidades de investigação e investigadores) é a melhor maneira de fazer progredir a ciência como um todo num país.

Mas, como se escreveu acima, aqui estamos no domínio da divergência de opiniões e, possivelmente, também da incompetência. Nem prolongar a discussão no primeiro caso, nem a tarefa inglória de tentar corrigir o segundo irá evitar as consequências drásticas que se prevêem para o futuro da ciência em Portugal se esta avaliação prosseguir.

Por outro lado, e a não ser que se admita que alguns dos painéis, para além de sofrerem dos problemas metodológicos mencionados acima, sejam compostos por totais idiotas, o mistério sobre os relatórios permanece. Como é possível que nalguns casos seja indicado explicitamente no relatório final que a unidade tem um bom nível de internacionalização com contribuições sólidas de alto nível, que é o critério indicado pela FCT para o nível Muito Bom e a passagem à segunda fase, sendo depois atribuída uma classificação que impede a unidade de passar a essa segunda fase? E que dizer quando essa classificação foi forçada pelo painel, alheando-se dos relatórios dos peritos?

Para tentarmos compreender o que se passa, vejamos um exemplo que embora tenha algo de caricatural isola os pontos fundamentais que temos e em que os elementos são retirados de diferentes casos a que tivemos acesso. Ou seja, façamos um thought experiment.

Imagine-se que um dos painéis tinha apenas duas unidades de investigação para classificar:

Centro A: 50 investigadores, 1 artigo por investigador, 1.3 citações por artigo, parte dos investigadores reconhecidos internacionalmente e algumas contribuições sólidas para a área em questão no período em causa; notas: 19-17-15.

Centro B: 15 investigadores, 2 artigos por investigador, 1.7 citações por artigo, investigadores reconhecidos internacionalmente e algumas contribuições sólidas para a área em questão no período em causa; notas: 18-17-16.

Uma vez que ambos os centros satisfazem os critérios generalistas indicados pela FCT para a passagem à segunda fase (assumindo que as classificações parciais não são muito díspares), seria de esperar que isso acontecesse. Com os dados disponíveis, toda e qualquer diferenciação que se tente fazer será baseada ou nos bias do painel ou em ruído. No entanto isso não causaria nenhuma perplexidade nem necessitaria de explicação, não sendo pois semelhante ao que se está a passar.

Para se ter uma situação análoga seria necessário que um dos centros, digamos o Centro B, não passasse à segunda fase, sendo a justificação dada para isso ou algo vazio semelhante ao que foi feito com o centro de estatística, ou algo surrealista como dizer que o centro não apresenta nenhuma patente, quando se sabe que o Centro A também não tem patentes ou até que na área em que o centro trabalha não é usual a detenção de patentes.

Será possível compreender situações como esta à luz das premissas apresentadas pela FCT, ou seja, busca da excelência, avaliação por painéis independentes, etc? Parece claro que podemos por de parte essa hipótese mas, sendo assim, o que resta? Devemos ficar necessariamente reduzidos a discutir na praça pública a responsabilidade da FCT em tudo isto e a incompetência do painel a um nível que parece incompatível com os mínimos que seriam de esperar de académicos que foram escolhidos por uma instituição que, apesar de moribunda, tem algum reconhecimento a nível europeu?

Chegados a este ponto, temos de admitir que as hipóteses que temos não permitem explicar de forma convincente o mistério deste processo e que é necessário obter informação adicional. E para isso é necessário fazer alguma investigação. Suponhamos que, apesar de não conhecermos ninguém no painel directamente, conhecemos alguém, chamemos-lhe X, que está na mesma universidade e que conhece um membro do painel, chamemos-lhe Y. Pedimos então a X para sondar Y para pelo menos percebermos como foi possível que tivessem escrito que faltava uma patente numa área onde não há patentes. E suponhamos, finalmente, que a resposta de X, inclui a seguinte frase: “A FCT indicou como objectivo a eliminação de metade dos projectos.”

Esta simples condição é suficiente para explicar todos os mistérios que reinavam sobre a existência de unidades que aparentemente satisfaziam todos os critérios necessários para passar à segunda fase mas não o tinham feito (havia quotas), as baixas de notas inexplicáveis (idem) ou os relatórios surrealistas (imaginem ter de fazer um relatório sobre a vossa unidade, ou o Centro B acima, em que é necessário arranjar justificações para cortar o acesso dessa unidade à segunda fase). Serve até para se compreender, no exemplo acima, porque é que o painel poderia preferir o Centro A ao Centro B: o financiamento para a área seria maior e, a posteriori, seria possível a pelo menos alguns dos elementos do Centro B passarem para o Centro A. E permite ainda prever que, no caso dos centros escolhidos para passar à segunda fase, os relatórios estejam, provavelmente, bem elaborados sem o recurso a frases forçadas que têm apenas a finalidade de justificar o injutificável.

Se usarmos o princípio da navalha de Occam não temos outra alternativa que não seja acolher a hipótese que a FCT impôs quotas a alguns dos painéis – qualquer outra hipótese apresentada até agora não só é bastante mais complicada como não permite explicar os factos na sua totalidade.

Obviamente que não podemos (nem devemos) aceitar esta explicação de ânimo leve, uma vez que as suas consequências seriam imensas. Por exemplo, o que sucede à credibilidade da actual direcção da FCT e à sua capacidade para liderar um processo com estas consequências quando afirma que este foi isento e que se limitou a passar as candidaturas à ESF e depois a recolher os resultados, se não for esse o caso e de facto deu indicações explícitas aos painéis para que eliminassem cerca de 50% das unidades? De um ponto de vista mais pragmático, qual a credibilidade do processo de avaliação em curso quando as unidades de investigação não foram avaliadas exclusivamente pela sua capacidade científica, como prometido, mas também pelo “espaço que ocupam” no panorama nacional?

Tendo isto em conta, é fundamental testar a hipótese de forma independente. Talvez seja importante as unidades de investigação que pensam que os seus relatórios seriam facilmente explicados a esta luz tentarem contactar directa ou indirectamente um membro do painel ao qual tenham acesso para a verificar, tal como foi feito no exemplo acima.

Um outro teste será a análise das percentagens de unidades aprovadas para a segunda fase. De acordo com os números fornecidos pela FCT, 52% das unidades está nessas condições ou seja, pouco mais de metade. E por painel? Misteriosamente, a FCT parce não ter disponibilizado esta informação.

Apesar da existência das unidades multidisciplinares levantar alguns problemas, uma vez que não conseguimos encontrar informação sobre o painel que de facto atribuiu a nota final à unidade, é possível obter uma primeira aproximação excluíndo os centros que surgem associados a mais do que um painel e que indicamos na seguinte tabela.

Painel	% Unidades aprovadas (excluíndo as associadas a priori a mais de um painel)
Engineering Sciences	52
Exact Sciences	62
Health and Life Sciences	54
Humanities	51
Natural and Environmental Sciences	56
Social Sciences	48

Verifica-se que as áreas de Humanidades e Ciências Sociais, as quais têm as taxas mais baixas de centros multidisciplinares (10% e 15%, respectivamente), apresentam valores muito próximos dos 50% (51% e 48%). Seria pois útil a FCT publicar na sua página qual a área científica em que cada unidade foi avaliada, para se poder melhorar as aproximações acima, bem como as percentagens de aprovação por painel. Quão provável é que a percentagem de excelência, medida em termos de centros e avaliada por painéis independentes, em diferentes área, se encontre identicamente distribuída em termos do número de centros?

Em paralelo, há um modo simples de esclarecer tudo. Estará o Presidente da FCT disponível para vir a público afirmar peremptoriamente e sem deixar margem para dúvidas que não houve indicações nenhumas dadas pela FCT, directa ou indirectamente, a pelo menos alguns dos painéis sobre o número de centros a passar à segunda fase, confirmando a tão apregoada independência da avaliação?

Para além de ser importante esclarecer este ponto de modo a que não restem dúvidas nenhumas, é necessário pensar nas unidades de investigação que passaram à segunda fase que deverão querer saber se afinal houve quotas ou não e, em caso afirmativo se estas serão também aplicadas nessa altura: será que 42 unidades numa área irão corresponder a 6 excepcionais, 12 excelentes e 24 muito bons, ou outra divisão artificial qualquer feita a priori e que não corresponde de forma alguma à realidade?

Nota: Quero agradecer ao Carlos Fiolhais a possibilidade de utilizar o seu blogue para a divulgação deste texto, e pedir a compreensão de eventuais leitores para a manutenção do anonimato – para além de, pelo menos por enquanto, se pretender evitar a identificação das fontes por razões óbvias, afinal, os elementos dos painéis de avaliação só foram identificados à posteriori e os avaliadores externos mantêm-se anónimos. E o que está aqui em causa é também a avaliação da actual direcção da FCT.