Recebemos este post do investigador português no estrangeiro que aqui tem analisado a avaliação da FCT/ESF das unidades de investigação em ciência e tecnologia (devidamente identificado perante os coordenadores do blogue):
A corrente (?) “avaliação” das
unidades de investigação do duo FCT/ESF apresenta uma ironia que tem
aparentemente passado despercebida mas que se torna por demais evidente à
medida que vamos conhecendo mais factos.
Dizia o ministro Nuno Crato antes
de o ser, que para se ensinar uma disciplina é necessário sabê-la. Para ensinar
química, não chega ser-se um especialista em pedagogia. É necessário, em
primeiro lugar e acima de tudo, não só ter conhecimentos sólidos de química,
como também saber muito mais do que o que se tem de ensinar.
Ora parece que a FCT e a ESF não
são dessa opinião e, debaixo das barbas do ministro, desenvolveram o que,
esperando não sermos acusado de plágio, chamaríamos o avaliaquês. Trata-se de
uma actividade onde os avaliadores são, aparentemente, especialistas em
avaliação, mas percebem muito pouco ou nada do que estão a avaliar.
Isto era claro desde o início
desta “avaliação” com a compactificação da totalidade das diferentes áreas em
apenas seis painéis, mais um multidisciplinar. Já tivemos aqui
oportunidade de indicar que as possibilidades combinatóricas permitidas são
interessantes, com algumas curiosidades como seja ter investigadores em
ciências florestais a avaliar investigadores em ciências do mar.
Mas a dupla FCT/ESF defende que se
trata de peritos em gestão de grupos científicos e por isso são competentes
para o efeito. Mais do que isso, não só estão perfeitamente à vontade para
fazer este tipo de trabalho como são, de facto, os avaliadores perfeitos para o
fazer. Soa familiar, Senhor Ministro?
Ponham o infatigável físico
molecular da Open University na presença de um centro de matemática e num
instante ele será capaz de determinar o que está errado com a investigação
dessa unidade e, obviamente, porque é que não merece passar à segunda fase. Ou,
no caso das que passaram, porque é que só merece ter muito bom. O facto de o
dito físico ser incapaz de distinguir um grupo abeliano de uma uva abeliana
(perde-se na tradução do inglês) é irrelevante.
De facto, e como se pode ver da
variedade de relatórios de consenso que têm vindo a ser divulgados nas
diferentes áreas, há já várias frases feitas e técnicas desenvolvidas para cada
fim que, temos a certeza, o ministro será capaz de apreciar devidamente.
Os relatórios dos três avaliadores
indicam que a unidade “shows a very good scientific output” mas é necessário
chumbá-la? Não há problema. Copie-se a frase alterando o grau do adjectivo para
“shows a good scientific output”.
O centro satisfaz todos os critérios
para passar à segunda fase mas já não há quota? Culpe-se o “feroz ambiente
competitivo” - que, quando muito, faria sentido havendo as quotas que a FCT
continua a negar existirem.
O avaliador que de facto percebe
alguma coisa do que está a avaliar quer dar uma nota que iria contrariar o que
os avaliaquêses pensam? Obrigue-se o avaliador a baixar essa nota.
Desenganem-se, no entanto, os que
pensavam que já tínhamos visto tudo neste capítulo. À medida que nos
aproximamos do fim e que os avaliadores que estão dispostos a participar no
circo começam a escassear, a dupla ESF/FCT tem tido de se tornar mais criativa
– cumpre terminar a avaliação, custe o que custar, mesmo que no fim já só haja
um avaliador!
Uma nova fase do avaliaquês teve
início com um grupo de visitas em que faltou um dos membros do painel. Com
apenas 3 avaliadores, atropelou-se mais uma vez as regras que estão descritas
no guião de avaliação, as quais indicam que as visitas serão feitas por 4 ou 5
especialistas. Neste caso com a agravante que pelo menos um deles não era
especialista em coisa nenhuma relacionada com os centros avaliados (sim,
tratava-se do infatigável físico molecular que neste caso dirigiu as visitas
dos centros da área de matemática!). Mas é certamente um especialista em
avaliaquês, pelo que pode supervisionar esta avaliação e, caso seja necessário,
poderá ainda fazer uma avaliação no painel ao lado.
Mas as coisas não ficaram por aí
e, no meio de adiamentos vários das visitas tivemos, por exemplo, um grupo de
avaliaquêses que não incluíam um único arquitecto a avaliar um centro de
arquitectura (parece que, entre outras coisas, nunca tinham ouvido falar no
Siza ou nos prémios Pritzkel). Também tinham algumas falhas no conhecimento do
modo de financiamento das unidades de investigação em Portugal, pelo que
presumimos que a visita tenha sido, de facto, bastante instrutiva – afinal não
é todos os dias que descobrimos que existe um equivalente a um prémio Nobel
numa dada área ou que ficamos a saber como é que as coisas funcionam num outro
país que está no topo de uma certa área.
Nos próximos dias haverá também
engenheiros civis a visitar unidades de biologia, peritos em literatura
italiana a visitar unidades de psicologia, etc. Um autêntico festival de
avaliaquês, que permitirá certamente aos irredutíveis membros dos painéis que
ainda restam mostrarem o seu virtuosismo! Põe-se obviamente a questão de saber
como é que serão as reuniões presenciais dos painéis que terão lugar no fim das
visitas...
Certamente que o ministro saberá,
melhor que ninguém, apreciar as consequências a médio e longo prazo deste tipo
de situações. Sem esquecer a péssima imagem que esta direcção da FCT está a
passar para fora do país, dando a entender que o que é importante é finalizar a
avaliação, custe o que custar, contra tudo e contra (quase) todos, sendo as
condições em que esta é feita completamente irrelevantes, uma vez que é "robusta" e segue "os
mais altos padrões internacionais".
Com a colecção de disparates dos
diferentes relatórios que já foi possível compilar, esperamos que em breve seja
possível produzir “O avaliaquês em discurso directo”. Tendo o ministro direito
a aceder a todos os relatórios, listas de avaliadores, etc, não quererá ele dar
início aos trabalhos?
9 comentários:
Ao De Rerum Natura:
O investigador e autor deste «post» é Anónimo? À semelhança da maioria dos comentadores da blogosfera? Ou não referiram o seu nome por lapso?
Este post é idiota. Nenhum avaliador terá competência para avaliar seja o que for por este critério. A avaliação de unidades visa avaliar a produtividade e qualidade das unidades e não o detalhe da investigação que produzem. Eu sou físico, mas posso ver se investigadores de química publicam nas revistas de referência ou nos anais do seu laboratório. São os referees das suas publicações que vão avaliar a qualidade do trabalho. Se o trabalho não for bom, não conseguem publicar e isso vê-se na produtividade da unidade.
Caro Joaquim Santos: se a avaliação se tivesse baseado em critérios de produtividade e qualidade das revistas o seu comentário ainda poderia ter alguma razão de ser. Mas não foi, como ficou demonstrado por estudos comparativos realizados. Portanto o mistério persiste: quais os reais critérios que presidiram a esta "avaliação"? Conhece a resposta?
Acho que tocou no cerne da questão: "Posso ver" não é o mesmo que avaliar.
"Investigador no estrangeiro for Mayor"!
Apoiado!
Substitua por "posso avaliar" e a resposta é a mesma.
“Esta mensagem é idiota. QUALQUER avaliador terá competência para avaliar seja o que for por este critério”.
Penso que não percebeu o post: uma analogia não implica que se aplique literalmente o que se cita de um exemplo noutras circunstâncias. Não me parece que se esteja a sugerir que se exija a um avaliador que saiba mais que os avaliados sobre o seu tópico de trabalho - apesar de, no caso de painéis em avaliações a sério, haver quase sempre um número razoável de investigadores em cada área por forma a fazer uma cobertura bastante completa das subáreas principais.
Diria que a ideia é que a filosofia por detrás da construção destes painéis não anda muito longe da filosofia que o ministro critica ferozmente: os especialistas em avaliação que não percebem nada do que estão a avaliar (vide a avaliação do centro de arquitectura, por exemplo) em vez dos especialistas em pedagogia que pouco percebem da disciplina que estão a ensinar.
Enviar um comentário