quinta-feira, 25 de setembro de 2014

A AVALIAÇÃO DA FCT DESTRÓI ALGUMAS DAS MELHORES UNIDADES DE INVESTIGAÇÃO DO PAÍS


Produção científica das diferentes unidades versus impacto da mesma. As unidades que não passam à segunda fase (chumbadas, portanto) estão indicadas a vermelho. É extremamente prejudicial para o país o não financiamento de unidades com elevado níveis de produção científica e elevado impacto internacional. O corrente processo de avaliação é um tiro que a FCT está dar no pé! Nota: Só algumas unidades estão identificadas para clareza da figura. 

O processo de avaliação de unidades de investigação é por inerência um processo muito complexo. Essas unidades apresentam especificidades que as tornam únicas, realizam investigação numa grande diversidade de temas, colaboram com o ensino avançado e com a indústria, têm um impacto determinante no desenvolvimento regional e nacional e efectuam trabalho cultural, realizando por exemplo acções de divulgação científica. Um processo de avaliação que tenha por objectivo indicar quais as unidades que devam ser extintas, retirando-lhes o seu financiamento na totalidade ou dando-lhes um financiamento residual que as tornam não competitivas no panorama nacional e internacional, deve por isso ser cuidadosamente desenhado para não danificar o tecido científico, pedagógico, social, económico e cultural português. Deve ser feito com tempo por equipas numerosas, integrando especialistas independentes de várias especialidades que tenham experiências de trabalhos semelhantes. Deve ser feito com transparência e com respeito por regras anunciadas e acordadas.E deve ser feito com o máximo de atenção e rigor.

No entanto, o presente exercício de avaliação, que teve como primeira finalidade a extinção de metade das unidades de investigação, não foi nem cuidadosamente desenhado nem cuidadosamente executado. Já são conhecidas da comunidade científica e do público em geral várias irregularidades, a saber:

· - quotas escondidas de passagem à segunda fase (i.e., o número de unidades classificadas com “fair”, “good” e “poor” já estava determinado antes do concurso começar);

· - regras alteradas durante o concurso (designadamente a redução do número de avaliadores e a retirada de um avaliador sugerido pelos centros de investigação);

· presença de conflitos de interesse entre membros dos painéis de avaliação e  membros dos centros que avaliam (é o caso do chair do painel de Ciências Exactas, que tem numerosos trabalhos publicados com um dos centros que avaliou);

· avaliação baseada em dados bibliométricos incorrectos: algumas incorrecções só foram corrigidas após terem sido conhecidos os resultado da primeira fase do processo de avaliação;
·        
- - desconhecimento por parte dos avaliadores das unidades de investigação que tinham de avaliar, o que é revelado por uma elevada quantidade de erros factuais nos comentários tanto iniciais como finais da avaliação.

Dadas estas irregularidades, fruto da precipitação, da inexperiência e do desconhecimento da investigação realizada em Portugal por parte da actual direcção da FCT, não é de espantar que o resultado tenha sido desastroso.

Após a primeira fase da avaliação aproximadamente metade das unidades ficaram sem financiamento para continuar a sua investigação. E, destas unidades, várias são unidades essenciais para a investigação científica portuguesa.

Vejamos em pormenor. Um dos parâmetros bibliométricos utilizado pelo ORCID para a classificação das unidades é o índice de “Field Weighted Citation” (FWC). Este índice dá uma indicação do impacto da investigação realizada de uma forma transversal a todas as áreas, permitindo uma comparação entre as várias unidades. O FWC corresponde ao quociente entre o número de citações recebidas e o número médio de citações recebidas para publicações internacionais da mesma área. Um FWC igual a 1 indica que o conjunto de publicações representa uma performance em citações que corresponde à da média internacional na disciplina.

Sempre que uma unidade de investigação com FWC maior que 1 não é financiada retira-se-lhe a possibilidade de competir internacionalmente, apesar de ele ter demonstrado o seu valor. Ora, a taxa de centros com FWC > 1 que não passaram à segunda fase é de 34,8%. Mais de um terço dos centros que melhor publica em Portugal não será financiado.

Mas a situação é muito pior. No grupo de centros que têm FWC > 1 existem alguns que publicam em muita quantidade. São centros grandes e cuja investigação tem mais impacto do que a média internacional da disciplina. A destruição de somente um desses centros provoca necessariamente um enorme rombo na produção científica nacional.

Esta avaliação fez isso de uma forma leviana. Houve 20 centros que têm FWC > 1 e com um número de publicações maior do que a média nacional que ficaram sem financiamento suficiente para conduzir a sua investigação. Este número corresponde a 23,5% dos centros nestas circunstâncias. Praticamente um quarto!

Esta avaliação resulta assim numa rápida destruição dos nossos melhores cientistas em várias áreas de investigação. Poderá a FCT dizer que ainda há protestos (numerosos protestos) a ser analisados. Mas desta direcção da FCT e desta avaliação ninguém espera nada:  protestos justos relativamente a apreciações incompetentes de referees externos foram completamente ignorados. As queixas relativas a irregularidades processuais (a lista de cima não esgota os atropelos às leis portuguesas e às melhores práticas internacionais) foram ignoradas. E nada indica que as reapreciações tenham sido entregues a outros júris com outra idoneidade e outra capacidade de análise. Dos mesmos só há a esperar o mesmo.

O ministro Nuno Crato já uma vez pediu desculpas por erros grosseiros na gestão da educação. Está na hora de pedir desculpas por erros ainda mais grosseiros na gestão da ciência.


3 comentários:

  1. Este cálculo tem em consideração o número absoluto de artigos publicados por cada instituto ou a média de citações por artigo publicado, por instituto?

    ResponderEliminar
  2. Caro Nuno Henrique Franco
    No eixo vertical indica-se o número total de publicações. No eixo horizontal o número de ciitações normalizado levando em conta o número médio de citações em publicações internacionais nessa área. A linha horizontal indica o número médio de artigos dos centros
    considerados. A linha vertical o número de citações correspondente à média internacional na área. O primeiro quadrante inclui centros com produção científica em quantidade acima da média nacional e produção científica em qualidade acima da média internacional.
    Cordialmente
    Carlos Fiolhais

    ResponderEliminar
  3. Mas fará sentido comparar instituições com produtividade tão diferente sem ter em conta o número de pessoas que trabalham em cada instituição? Se o valor no eixo das X é pesado por o número de citações médio porque nas Y não? Não faria mais sentido fazer um gráfico no qual o eixo das Y seja o número de publicações de cada instituição dividido por o número de pessoas que ali trabalham?
    Atenciosamente
    Andrea Zille

    ResponderEliminar

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.