domingo, 17 de agosto de 2014

A avaliação segundo Shanghai

Mais um texto recebido do investigador anónimo que é nosso correspondente no estrangeiro sobre o assunto muito actual da "avaliação" da FCT:

Os rankings das universidades valem o que valem. Mas é evidente que ignorá-los pode ter consequências bastante graves. Por exemplo, muitos alunos potenciais guiar-se-ão pelos rankings na sua escolha de uma universidade onde prosseguir uma dada especialidade. Como consequência, uma universidade portuguesa terá uma maior probabilidade de atrair alunos estrangeiros se estiver bem posicionada nesses rankings.

É também claro que os rankings contêm informação. As universidades que aparecem no topo dos vários rankings são praticamente as mesmas e ninguém negará que se trata certamente de algumas das melhores do mundo, pelo que deve haver alguma correlação com a realidade.

Podemos ainda discutir se a ordem pela qual as universidades X e Y aparecem num ranking é correcta, mas diríamos que aí o que está errado é partir do princípio que existe uma ordem – o que muitos investigadores já faziam muito antes de existirem rankings de qualquer espécie.

Quem seguiu a publicação da edição de 2014 do Academic Ranking of World Universities, mais conhecido por ranking de Shanghai, no passado dia 15, terá certamente notado que não são boas notícias para a actual direcção da FCT.

Comecemos pelo mais óbvio. A única universidade portuguesa que aparece classificada em Física é a Universidade do Minho. Sim, precisamente uma daquelas onde a FCT quer acabar com o financiamento do centro de Física, com base no julgamento de um painel contendo três ou quatro físicos. De notar ainda que, para além da Matemática (que é a área específica mais bem classificada a nível nacional) e das Ciências da Computação, ambas na Universidade de Lisboa, não há mais nenhuma disciplina (específica) a nível nacional que apareça no ARWU.

Mas há mais. Na apresentação do programa do governo para a ciência e tecnologia a 24 de Abril de 2012 na Fundação Calouste Gulbenkian, a Secretária de Estado da Ciência afirmou explicitamente que até aí o financiamento público tinha favorecido a área das Engenharias sem que isso se reflectisse nos resultados. Concluiu que, como consequência, iria haver uma mudança nas prioridades onde esse financiamento seria aplicado.

Ora o que diz o ARWU no capítulo das grandes áreas científicas? A única em que surgem universidades portuguesas é, pasme-se, a da engenharia, onde há três universidades que aparecem entre as primeiras 200 (o número considerado por este ranking ao nível de grandes áreas ou áreas específicas):

U. Aveiro (Engenharias): 151-200
U. Lisboa (Engenharias): 76-100
U. Porto (Engenharias): 151-200

(os números indicados especificam que as universidades em questão surgem entre as posições dadas, nas quais não há diferenciação e onde os nomes são ordenados alfabeticamente)

Para sermos justos para com a Secretária de Estado, devemos chamar à atenção que foi apenas em 2013 que universidades portuguesas apareceram pela primeira vez na área das Engenharias no ARWU. Mas isso só mostra que estamos a lidar com um sistema com um atraso considerável, e que portanto devemos ter muito cuidado com as medidas que se tomam e não ser o proverbial touro numa loja de porcelana.

Voltando ao ranking deste ano, vemos que não há nada nas Ciências da Saúde, Médicas ou Sociais, nem ao nível das grande áreas nem ao nível das áreas específicas, como aliás em anos anteriores. De acordo com o ARWU, Portugal é inexistente nesses campos. Será que também necessita de uma harmonização como a que foi feita com as notas da avaliação em curso?

Se raciocinarmos como a actual direcção da FCT, podemos (e devemos) concluir que Engenharias, Ciências da Computação, Física e Matemática são as únicas áreas em Portugal que são excelentes e com visibilidade internacional. Citando António Coutinho, “a investigação em C&T globalizou-se e não existe qualidade quando a relevância é só local, regional ou nacional.” Continuando com a mesma lógica, concluíremos também que as restantes unidades de investigaçao são mediocres, na melhor das hipóteses com alguma dessa relevância local. Deverão, por isso, ser excluídas de receber qualquer financiamento público.

Obviamente que fazer isso seria um disparate completo, e a lista de erros que poderiam ser apontados à sequência que levou a essa conclusão seria enorme. De facto, seria quase tão grande como a lista de erros que têm sido apontados à avaliação em curso. Mas com uma diferença fundamental: acima não alterámos as regras nem fizemos batota para distorcer os resultados por forma a que se adaptassem às nossas ideias pré-concebidas.


É verdade que os rankings valem o que valem, mas que haja tantos dados e factos (não estamos apenas a falar dos relacionados com o ARWU, como é óbvio) que estão em oposição à visão da direcção da FCT sobre o panorama científico em Portugal ou o modo como uma avaliação deve ser levada a cabo, deveriam deixar qualquer um preocupado.

2 comentários:

Luis Rocha disse...

Apesar de concordar com quase tudo nesta peça (especialmente os problemas de avaliação em geral:http://informatics.indiana.edu/rocha/ciencia2.html) , há uma nota óbvia que se tem que fazer: a excelência portuguesa nas ciências da vida está essencialmente em Institutos que não são avaliados por Shanghai. Os indicadores científicos desses (poucos) Institutos comparam-se a institutos de topo de tamanho semelhante internacionais.

Anónimo disse...

Não posso deixar de começar por notar que o que está escrito é que

“De acordo com o ARWU, Portugal é inexistente nesses campos.”

Percebo que o comentário é construtivo, e está a chamar à atenção de uma questão importante, mas não é completamente claro que exista um oásis específico nas ciências da vida que, caso fosse avaliado pelo ARWU, apareceria nessa classificação ou até mesmo por comparação com os tais “institutos de topo de tamanho semelhante internacionais.” - quais são?

Em particular, existe uma grande auto-promoção que é feita pelos próprios e, nalguns casos, também pelos jornais, pois é muito mais fácil fazer uma notícia sobre um resultado em medicina do que sobre um resultado teórico em física, matemática, química, ou engenharia, por exemplo.

Escolha-se uma instituição das que se encontram no grupo das 151-200 em medicina, por exemplo. No meu caso, optei pela Universidade de Ulm, que me parece ser insuspeita uma vez que é relativamente recente (1967), não tem aparecido de forma consistente no ARWU em medicina (uma vez em 2012 e outra em 2014, sempre em 151-200), e tem, de acordo com a wikipedia, pouco mais de 9000 estudantes, sendo pois uma universidade de pequena dimensão.

Procurando no ISI por resultados em áreas de medicina (incluindo apenas as que, por si só, têm mais de 100 hits entre 2008 e 2012), obtêm-se 5829 artigos, 68315 citações (65216 se excluírmos as auto-citações), um factor h de 96, etc.

Desses artigos, os 7 mais citados entre 2008 e 2013 têm praticamente tantas citações como todos os artigos do Instituto Champalimaud (que penso que fosse um dos tais institutos de topo) no mesmo período (5761 contra 5791).

Não se pretendeu aqui fazer uma busca muito rigorosa (estou, por exemplo, a incluir citações até Agosto de 2014), mas não me parece que possa haver grande comparação com o que quer que seja que existe em Portugal.

E, também para comparação, convém lembrar que unidades como o IMM são abrangidas pelo ARWU.

Contrariamente a António Coutinho, não quero com isto dizer que o IC ou o IMM são mediocres e que não devem ser financiados. Antes pelo contrário. Apenas chamar à atenção que se se vai pelo caminho escolhido pela actual direcção da FCT (e apoiado por António Coutinho), entramos no domínio da selecção aleatória, pelo menos para uma gama não desprezável de unidades, e que se está a correr sérios riscos de eliminar a qualidade. Um país como Portugal não se pode dar a esses luxos.

UM CRIME OITOCENTISTA

Artigo meu num recente JL: Um dos crimes mais famosos do século XIX português foi o envenenamento de três crianças, com origem na ingestão ...