Produção científica das diferentes unidades versus
impacto da mesma. As unidades que não passam à segunda fase (chumbadas, portanto) estão
indicadas a vermelho. É extremamente prejudicial para o país o não
financiamento de unidades com elevado níveis de produção científica e elevado
impacto internacional. O corrente processo de avaliação é um tiro que a FCT está dar no pé! Nota: Só algumas unidades estão identificadas para clareza da figura.
O processo de avaliação de unidades de investigação é por inerência um
processo muito complexo. Essas unidades apresentam especificidades que as
tornam únicas, realizam investigação numa grande diversidade de temas,
colaboram com o ensino avançado e com a indústria, têm um impacto determinante
no desenvolvimento regional e nacional e efectuam trabalho cultural, realizando
por exemplo acções de divulgação científica. Um processo de avaliação que tenha
por objectivo indicar quais as unidades que devam ser extintas, retirando-lhes
o seu financiamento na totalidade ou dando-lhes um financiamento residual que
as tornam não competitivas no panorama nacional e internacional, deve por isso
ser cuidadosamente desenhado para não danificar o tecido científico, pedagógico,
social, económico e cultural português. Deve ser feito com tempo por equipas
numerosas, integrando especialistas independentes de várias especialidades que
tenham experiências de trabalhos semelhantes. Deve ser feito com transparência
e com respeito por regras anunciadas e acordadas.E deve ser feito com o máximo de atenção e rigor.
No entanto, o presente exercício de avaliação, que teve como primeira
finalidade a extinção de metade das unidades de investigação, não foi nem
cuidadosamente desenhado nem cuidadosamente executado. Já são conhecidas da comunidade
científica e do público em geral várias irregularidades, a saber:
· - quotas escondidas de passagem à segunda fase
(i.e., o número de unidades classificadas com “fair”, “good” e “poor” já estava
determinado antes do concurso começar);
· - regras alteradas durante o concurso (designadamente
a redução do número de avaliadores e a retirada de um avaliador sugerido pelos
centros de investigação);
· - presença de conflitos de interesse entre
membros dos painéis de avaliação e
membros dos centros que avaliam (é o caso do chair do painel de Ciências Exactas, que tem numerosos trabalhos
publicados com um dos centros que avaliou);
· - avaliação baseada em dados bibliométricos
incorrectos: algumas incorrecções só foram corrigidas após terem sido
conhecidos os resultado da primeira fase do processo de avaliação;
·
- - desconhecimento por parte dos avaliadores das
unidades de investigação que tinham de avaliar, o que é revelado por uma
elevada quantidade de erros factuais nos comentários tanto iniciais como finais
da avaliação.
Dadas estas irregularidades, fruto da precipitação, da inexperiência e do
desconhecimento da investigação realizada em Portugal por parte da actual
direcção da FCT, não é de espantar que o resultado tenha sido desastroso.
Após a primeira fase da avaliação aproximadamente metade das unidades ficaram
sem financiamento para continuar a sua investigação. E, destas unidades, várias
são unidades essenciais para a investigação científica portuguesa.
Vejamos em pormenor. Um dos parâmetros bibliométricos utilizado pelo ORCID para a classificação
das unidades é o índice de “Field Weighted Citation” (FWC). Este índice dá uma
indicação do impacto da investigação realizada de uma forma transversal a todas
as áreas, permitindo uma comparação entre as várias unidades. O FWC corresponde
ao quociente entre o número de citações recebidas e o número médio de citações
recebidas para publicações internacionais da mesma área. Um FWC igual a 1
indica que o conjunto de publicações representa uma performance em citações que corresponde à da média internacional na
disciplina.
Sempre que uma unidade de investigação com FWC maior que 1 não é financiada
retira-se-lhe a possibilidade de competir internacionalmente, apesar de ele ter demonstrado o seu valor.
Ora, a taxa de centros com FWC > 1 que não passaram à segunda fase é de
34,8%. Mais de um terço dos centros que melhor publica em Portugal não será
financiado.
Mas a situação é muito pior. No grupo de centros que têm FWC > 1 existem
alguns que publicam em muita quantidade. São centros grandes e cuja investigação
tem mais impacto do que a média internacional da disciplina. A destruição de
somente um desses centros provoca necessariamente um enorme rombo na produção
científica nacional.
Esta avaliação fez isso de uma forma leviana. Houve 20 centros que têm FWC > 1 e com um número de publicações maior do que a média nacional que ficaram
sem financiamento suficiente para conduzir a sua investigação. Este número
corresponde a 23,5% dos centros nestas circunstâncias. Praticamente um quarto!
Esta avaliação resulta assim numa rápida destruição dos nossos melhores cientistas em
várias áreas de investigação. Poderá a FCT dizer que ainda há protestos
(numerosos protestos) a ser analisados. Mas desta direcção da FCT e desta avaliação ninguém
espera nada: protestos justos
relativamente a apreciações incompetentes de referees externos foram completamente ignorados. As queixas relativas a irregularidades
processuais (a lista de cima não esgota os atropelos às leis portuguesas e às
melhores práticas internacionais) foram ignoradas. E nada indica que as reapreciações tenham
sido entregues a outros júris com outra idoneidade e outra capacidade de análise. Dos mesmos só há a esperar o
mesmo.
O ministro Nuno Crato já uma vez pediu desculpas por erros grosseiros na
gestão da educação. Está na hora de pedir desculpas por erros ainda mais grosseiros na
gestão da ciência.
3 comentários:
Este cálculo tem em consideração o número absoluto de artigos publicados por cada instituto ou a média de citações por artigo publicado, por instituto?
Caro Nuno Henrique Franco
No eixo vertical indica-se o número total de publicações. No eixo horizontal o número de ciitações normalizado levando em conta o número médio de citações em publicações internacionais nessa área. A linha horizontal indica o número médio de artigos dos centros
considerados. A linha vertical o número de citações correspondente à média internacional na área. O primeiro quadrante inclui centros com produção científica em quantidade acima da média nacional e produção científica em qualidade acima da média internacional.
Cordialmente
Carlos Fiolhais
Mas fará sentido comparar instituições com produtividade tão diferente sem ter em conta o número de pessoas que trabalham em cada instituição? Se o valor no eixo das X é pesado por o número de citações médio porque nas Y não? Não faria mais sentido fazer um gráfico no qual o eixo das Y seja o número de publicações de cada instituição dividido por o número de pessoas que ali trabalham?
Atenciosamente
Andrea Zille
Enviar um comentário