O avaliaquês

Recebemos  este post do investigador português no estrangeiro que aqui tem analisado a avaliação da FCT/ESF das unidades de investigação em ciência e tecnologia (devidamente identificado perante os coordenadores do blogue):

A corrente (?) “avaliação” das unidades de investigação do duo FCT/ESF apresenta uma ironia que tem aparentemente passado despercebida mas que se torna por demais evidente à medida que vamos conhecendo mais factos.

Dizia o ministro Nuno Crato antes de o ser, que para se ensinar uma disciplina é necessário sabê-la. Para ensinar química, não chega ser-se um especialista em pedagogia. É necessário, em primeiro lugar e acima de tudo, não só ter conhecimentos sólidos de química, como também saber muito mais do que o que se tem de ensinar.

Ora parece que a FCT e a ESF não são dessa opinião e, debaixo das barbas do ministro, desenvolveram o que, esperando não sermos acusado de plágio, chamaríamos o avaliaquês. Trata-se de uma actividade onde os avaliadores são, aparentemente, especialistas em avaliação, mas percebem muito pouco ou nada do que estão a avaliar.

Isto era claro desde o início desta “avaliação” com a compactificação da totalidade das diferentes áreas em apenas seis painéis, mais um multidisciplinar. Já tivemos aqui oportunidade de indicar que as possibilidades combinatóricas permitidas são interessantes, com algumas curiosidades como seja ter investigadores em ciências florestais a avaliar investigadores em ciências do mar.

Mas a dupla FCT/ESF defende que se trata de peritos em gestão de grupos científicos e por isso são competentes para o efeito. Mais do que isso, não só estão perfeitamente à vontade para fazer este tipo de trabalho como são, de facto, os avaliadores perfeitos para o fazer. Soa familiar, Senhor Ministro?

Ponham o infatigável físico molecular da Open University na presença de um centro de matemática e num instante ele será capaz de determinar o que está errado com a investigação dessa unidade e, obviamente, porque é que não merece passar à segunda fase. Ou, no caso das que passaram, porque é que só merece ter muito bom. O facto de o dito físico ser incapaz de distinguir um grupo abeliano de uma uva abeliana (perde-se na tradução do inglês) é irrelevante.

De facto, e como se pode ver da variedade de relatórios de consenso que têm vindo a ser divulgados nas diferentes áreas, há já várias frases feitas e técnicas desenvolvidas para cada fim que, temos a certeza, o ministro será capaz de apreciar devidamente.

Os relatórios dos três avaliadores indicam que a unidade “shows a very good scientific output” mas é necessário chumbá-la? Não há problema. Copie-se a frase alterando o grau do adjectivo para “shows a good scientific output”.

O centro satisfaz todos os critérios para passar à segunda fase mas já não há quota? Culpe-se o “feroz ambiente competitivo” - que, quando muito, faria sentido havendo as quotas que a FCT continua a negar existirem.

O avaliador que de facto percebe alguma coisa do que está a avaliar quer dar uma nota que iria contrariar o que os avaliaquêses pensam? Obrigue-se o avaliador a baixar essa nota.

Desenganem-se, no entanto, os que pensavam que já tínhamos visto tudo neste capítulo. À medida que nos aproximamos do fim e que os avaliadores que estão dispostos a participar no circo começam a escassear, a dupla ESF/FCT tem tido de se tornar mais criativa – cumpre terminar a avaliação, custe o que custar, mesmo que no fim já só haja um avaliador!

Uma nova fase do avaliaquês teve início com um grupo de visitas em que faltou um dos membros do painel. Com apenas 3 avaliadores, atropelou-se mais uma vez as regras que estão descritas no guião de avaliação, as quais indicam que as visitas serão feitas por 4 ou 5 especialistas. Neste caso com a agravante que pelo menos um deles não era especialista em coisa nenhuma relacionada com os centros avaliados (sim, tratava-se do infatigável físico molecular que neste caso dirigiu as visitas dos centros da área de matemática!). Mas é certamente um especialista em avaliaquês, pelo que pode supervisionar esta avaliação e, caso seja necessário, poderá ainda fazer uma avaliação no painel ao lado.

Mas as coisas não ficaram por aí e, no meio de adiamentos vários das visitas tivemos, por exemplo, um grupo de avaliaquêses que não incluíam um único arquitecto a avaliar um centro de arquitectura (parece que, entre outras coisas, nunca tinham ouvido falar no Siza ou nos prémios Pritzkel). Também tinham algumas falhas no conhecimento do modo de financiamento das unidades de investigação em Portugal, pelo que presumimos que a visita tenha sido, de facto, bastante instrutiva – afinal não é todos os dias que descobrimos que existe um equivalente a um prémio Nobel numa dada área ou que ficamos a saber como é que as coisas funcionam num outro país que está no topo de uma certa área.

Nos próximos dias haverá também engenheiros civis a visitar unidades de biologia, peritos em literatura italiana a visitar unidades de psicologia, etc. Um autêntico festival de avaliaquês, que permitirá certamente aos irredutíveis membros dos painéis que ainda restam mostrarem o seu virtuosismo! Põe-se obviamente a questão de saber como é que serão as reuniões presenciais dos painéis que terão lugar no fim das visitas...

Certamente que o ministro saberá, melhor que ninguém, apreciar as consequências a médio e longo prazo deste tipo de situações. Sem esquecer a péssima imagem que esta direcção da FCT está a passar para fora do país, dando a entender que o que é importante é finalizar a avaliação, custe o que custar, contra tudo e contra (quase) todos, sendo as condições em que esta é feita completamente irrelevantes, uma vez que é "robusta" e segue "os mais altos padrões internacionais".

Com a colecção de disparates dos diferentes relatórios que já foi possível compilar, esperamos que em breve seja possível produzir “O avaliaquês em discurso directo”. Tendo o ministro direito a aceder a todos os relatórios, listas de avaliadores, etc, não quererá ele dar início aos trabalhos?