Uma irregularidade e um paradoxo

No seguimento de dois posts anteriores que desmontam o processo de "avaliação" da FCT eis outro post recebido de um investigador português no estrangeiro, devidamente identificado. O que ele afirma, fácil de comprovar, é mais uma contribuição para descredibilizar o processo  "avaliativo":

1. Conflitos de interesse

Os conflitos de interesse são um dos problemas que se colocam em todas as avaliações e são uma das razões pelas quais num país com a dimensão de Portugal esta deve ser levada a cabo por painéis compostos por cientistas residentes no estrangeiro. Diga-se em abono da verdade que os problemas maiores não costumam advir daí, uma vez que esses são fáceis de identificar, mas sim do facto de haver enviesamentos e preconceitos, relativos à nossa sub-área e às dos outros, de que todos sofremos, uns mais, outros menos, e que precisamente por serem tão naturais muitas vezes os próprios não se apercebem deles. Esta é uma das muitas razões pelas quais os painéis não podem ser em versão de saldo com três ou quatro investigadores por área como a que nos querem fazer engolir nesta avaliação.

Mas não deixa de ser uma questão que tem de ser acautelada e que assumimos que numa avaliação como esta não pode falhar, de tal forma se trata de um princípio básico. Como consequência, provavelmente muito poucas pessoas se lembraram de o verificar, incluindo a própria ESF.

A FCT descreve na secção 5 do Guião de Avaliação do exercício a decorrer o que entende por conflitos de interesse e como é que estes devem ser resolvidos. Mais precisamente, uma cooperação científica planeada ou a decorrer, por exemplo, poderá ser interpretada como um “disqualifying conflict of interest.” Embora não seja bem definido o que isto quer dizer, depreende-se da palavra “disqualifying” que será uma situação séria que tem ser resolvida e, em particular, os árbitros individuais deverão ser substituídos nesses casos. No caso de um membro do painel, o coordenador do painel deverá resolver a questão com o auxílio da equipa da FCT, embora não seja dito como.

Há várias questões que se levantam de imediato. Porquê uma menção a uma equipa da FCT que, supostamente, não tem nada a ver com esta parte da avaliação? Quais são os métodos utilizados para resolver um conflito de interesse? E o que é que sucede se se vier a descobrir, a posteriori, que de facto havia um conflito de interesse? Finalmente, como é resolvido um caso de conflito de interesse respeitante ao coordenador de um painel?

2. Uma experiência simples

Vem isto a propósito de uma experiência que qualquer pessoa com acesso a uma base de dados apropriada pode fazer e que consiste em verificar se os membros dos painéis satisfazem de facto as condições enunciadas – de notar que a ESF vai mais longe do que a FCT e indica explicitamente no já famoso contrato que fez com esta que todos os membros dos painéis satisfarão as condições da FCT no que diz respeito a conflitos de interesse.

Teríamos portanto de nos preparar mentalmente para estar a perder o nosso tempo caso decidíssemos estar à frente do computador a verificar a inexistência de conflitos de interesse dos membros dos diferentes painéis, até porque noutra cláusula a FCT insiste em que o que se passou há mais de três anos não é relevante.

No total verificamos que há cerca de dez (10) membros dos diferentes painéis que já publicaram com elementos das unidades a ser avaliadas, mas essas publicações encontram-se nalguns casos bastante distantes no tempo (1992!) e a FCT irá certamente argumentar que, mesmo quando há aquilo que classifica como conflitos potenciais (artigos conjuntos nos últimos três anos), eles não são significativos.

Antes de prosseguirmos, devemos afirmar que pensamos que o enviesamento mencionado acima  tem a ver com especificidades de área e que estas são detectáveis precisamente através de colaborações conjuntas, independentemente da altura em que foram feitas, uma vez que denotam um interesse comum. Num processo de candidaturas de uma agência europeia efectuado recentemente, declarámos um artigo em conjunto com um dos membros da equipa candidata publicado oito anos antes. A resposta da agência foi que, nessas condições, o painel preferia que não servíssemos como árbitro.

3. Um resultado surpreendente: a irregularidade

Teríamos pois, de facto, perdido tempo se não tivéssemos mentido acima quando escrevemos que não havia nada de especial a assinalar, para além de pequenas infracções às regras. Mas o resultado que se obtém é de tal forma bizarro que custa a acreditar. É um pouco como se andando à procura de uma espécie rara de insecto tivéssemos dado de caras com o yeti. E isto na Holanda. Quem quiser o ter o benefício de uma experiência destas, deverá parar de ler e ir fazer uma busca à sua base de dados favorita para detectar conflitos de interesse nos painéis – podemos garantir que sairão recompensados.

Isto porque, no caso do coordenador de um dos painéis, este tem, não uma, nem duas, nem o que seja imaginável pensar num caso destes, mas sim quarenta e duas (42!) publicações com autores portugueses, na sua grande maioria de uma mesma instituição. Trata-se do painel das ciências exactas e a experiência é reprodutível para quem a quiser fazer em casa (obviamente não verificámos as publicações uma a uma):

Search keys:

Author: Mason NJ

Address: Portugal AND (Open University OR UCL)

Years: 2002 to 2014 [a colaboração parece ter-se iniciado nesse ano]

Estas publicações correspondem a cerca de um quarto do total das publicações deste investigador no mesmo período, as quais podem ser vistas removendo a palavra 'Portugal' da busca acima.

Dado o pouco normal de uma situação destas, é evidente que convém verificar se não se trata de um erro com um homónimo ou qualquer coisa semelhante. Mais uma vez não verificámos todos os artigos um a um, mas uma busca na página do Professor Nigel Mason permite ficar as saber que é o autor de pelo menos alguns desses artigos e, para que não restem dúvidas, informa-nos também que faz parte do

ESF Review Committee of Portuguese Review of Physics Research Units.(Chair Exact Sciences panel) (Portuguese REF equivalent) 2014 –

Notamos que o comité é indicado apenas como sendo das unidades de física (embora do painel das ciências exactas), o que confirma aquilo que já sabíamos: as diferentes áreas científicas não se misturam e a junção de todas no mesmo saco é apenas para não ser tão óbvia a redução drástica no número de avaliadores de facto em cada uma delas – este ponto não foi escolhido para ser destacado pelo presidente da FCT na sua apresentação de dia 27 de junho em que explica as diferenças entre o processo actual e as avaliações anteriores.

Para sabemos como é que este conflito de interesse foi resolvido teremos de esperar pelo relatório final deste painel elaborado pelo seu coordenador. Relembramos também que a ESF garantiu no contrato que situações destas não ocorreriam.

4. O desfecho e o paradoxo

E a unidade a que pertencia a maioria dos colaboradores em todos estes artigos? É o nosso triste dever anunciar que, pelo menos por enquanto, não passou à segunda fase, ficando assim demonstrado que todo o barulho feito acima não passa de mais uma tentativa de denegrir esta avaliação, não tendo certamente o coordenador insistido, pelo menos durante a elaboração do relatório, que a equipa com quem trabalhou nos últimos 12 anos deveria passar à segunda fase. Terá certamente abandonado a sala (ou a mesa do seu computador) enquanto os outros dois ou três membros de física do painel elaboravam a sentença.

Mas não é esse o paradoxo, até porque não podíamos esperar outra coisa. Para encontrarmos o verdadeiro paradoxo, teremos de utilizar um pouco de bibliometria, pelo que quem é avesso a essas coisas não deverá continuar a ler.

Um dos princípios por detrás do facto de um cientista não dever atribuir uma classificação a outro no caso de terem algumas publicações em comum, tem simplesmente a ver com o óbvio de se estar, de algum modo, a classificar-se a ele próprio. Pode argumentar-se que, no caso de duas ou três publicações não será esse o caso mas, a partir de um número considerável começa a haver um percurso em comum. O que é o caso para este período, onde, como mencionamos atrás, 25% das publicações do coordenador do painel coincidem com as do centro que foi avaliado.

Obviamente que para termos uma ideia do impacto desta colaboração no curriculum do Professor Mason teríamos de fazer uma análise detalhada dos trabalhos, análise essa para a qual não somos competentes nem temos tempo. Mas, não tendo os meios necessários para fazer essa avaliação, podemos, inspirados pela  FCT, utilizar o método dos pobrezinhos. Ou seja, pedimos a dois avaliadores externos para fazer uns relatórios e depois elaboramos um relatório de consenso em que justificamos o nosso parecer.

Em relação aos relatórios externos, utilizaremos os relatórios que foram utilizados para impedir o centro em causa de passar à segunda fase. São certamente bons para isso, uma vez que chegaram para eliminar esse centro. Aliás, nem precisamos de os ver – basta saber que serviram para chumbar o centro e se isso é suficiente para a FCT, é suficiente para nós. Só nos falta provar a equivalência entre o centro e o Professor Mason.

Para isso, vejamos as restantes publicações do candidato durante este período recorrendo a um  estudo bibliométrico que podemos encomendar ou fazer em casa, com a finalidade de saber o que o Professor Mason foi capaz de realizar sem a colaboração do grupo que foi chumbado.

As tabelas apresentam dois grupos de resultados: Professor Mason sem o grupo português no período em causa, e Professor Mason com o grupo português no mesmo período.

Artigos de Mason NJ sem o grupo português, no período 2012-2014	Citações a esses artigos
Results found	119
Sum of the Times Cited	1134
Sum of Times Cited without self-citations	1036
Average Citations per Item	9.53
h-index	18

Artigos de Mason NJ com o grupo português, no período 2012-2014	Citações a esses artigos
Results found	42
Sum of the Times Cited	471
Sum of Times Cited without self-citations	409
Average Citations per Item	11.21
h-index	13

Dos índicadores acima, o valor mais significativo numa primeira análise é o que traduz o número de citações por artigo, uma vez que é o único que tem em conta a diferença do número de artigos em comparação. E neste caso o grupo português bate claramente o Professor Mason por mais de um ponto e meio em cerca de dez. Não temos pois, outra escolha, que não seja a de abater o candidato com base nos relatórios externos, na análise bibliométrica e no facto de este não assinar a revista Gazeta de Física [Anon1585]. Até porque uma comparação do indíce h também não pressagia nada de bom – utilizando a relação h = h_m N^β onde N indica o número de artigos, β o crescimento e h_m um coeficiente de normalização, com a escolha standard de β=0.4 [Molinari e Molinari 2006] e recorrendo ao caso português para determinar h_m, concluímos que o Professor Mason sem o grupo português, para poder almejar a ultrapassar a barreira da mediocridade e merecer financiamento na nova era que se aproxima, teria de ter um indíce h bastante superior a 19,7, o que não é o caso.

5. Conclusões

A pseudo-avaliação feita acima tem quase tantos erros como a da ESF, e os leitores interessados poderão listar esses erros desde que se abstenham de os colocar nos comentários ou de os enviar ao Carlos Fiolhais. Mais interessante será indicar as semelhanças. Por exemplo, tal como a avaliação do tandem ESF/FCT, não é para ser levada a sério. Excepto no que toca a dois pontos.

Em primeiro lugar, ao aceitar fazer parte do painel e ainda por cima na qualidade de coordenador, o Professor Mason está a colocar-se numa situação lose-lose, sendo o relatório do painel sobre o centro em causa o que o Google traduz como auto-destrutivo ou auto-derrotado mas que a expressão inglesa self-defeating ilustra melhor – ou seja, ao negar a relevância e a qualidade desta parte da investigação do centro, o painel está, até certo ponto, a fazer o mesmo em relação à investigação do seu coordenador.

O paradoxo pode então ser formulado da seguinte forma: poderá um painel implodir, ou seja, poderá um painel através de uma classificação que atribui a uma das unidades a avaliar, simultaneamente mostrar que não está apto a fazer essa avaliação? A resposta parece ser que sim. Mas, tal como em muitos paradoxos deste tipo, o problema está na auto-referência e não surgirá em avaliações feitas de acordo com os melhores padrões internacionais.

Em segundo lugar, tudo isto vem mais uma vez demonstrar a falta de rigor da ESF, que parece pensar que meter uma série de pessoas numa sala é o mesmo que proceder a uma avaliação, e para quem o controlo de qualidade se reduz a uma frase no contrato indicando que irá recolher os relatórios e verificar se estão de acordo com os critérios acordados – não é possível corrigir  a posteriori erros como os que aparecem nalguns dos relatórios [Anon1585, Anon90321, Anon91270, etc]; esse acompanhamento teria de ter sido feito durante o processo, ou pelo coordenador, ou por elementos da ESF destacados para esse fim.

Agradecimentos

O presente trabalho foi parcialmente financiado pelo projecto FCT/PINTJ5000/2014, pelo que, seguindo as regras que entraram em vigor em maio de 2014 relativas ao acesso aberto [Pereira e Seabra 2014], foi submetido a uma revista que satisfaz as exigências nesse capítulo e pelo qual seremos obrigados a pagar metade do dinheiro alocado ao centro para 2015. Esperamos ainda poder vir a publicar mais um artigo nesse ano, por forma a poder seguir as sugestões do painel relativas ao melhoramento do centro.

Bibliografia

Anon1585, Relatório sobre o CIES-IUL [“More to the point, one does not see whether the center subscribes to the relevant databases and journals, as well as purchases enough books to satisfy the demands of its researchers”] ESF/FCT 2014.

Anon90321, Relatório sobre o CEI-IUL [Atribuição de 20 valores, depois de elogiar uma conferência organizada pelo centro na qual participou] ESF/FCT 2014.

Anon91270, Relatório sobre o ISTAR-IUL [“This is an extremely difficult review to do, because the material submitted is so confused. I don't think that this is due to the unit being evaluated, but because of the layout of the form that they have had to fill in.”] ESF/FCT 2014.

Molinari, JF e Molinari, A, A new methodology for ranking scientific institutions. Scientometrics, Vol. 75, No. 1 (2008) 163–174.

Pereira, P e Seabra, MC, Acesso aberto a publicações científicas resultantes de projetos de I&D financiados pela FCT. Publicações FCT 2014.