sábado, 26 de Julho de 2014

Avaliação dos centros de investigação na AR, posição do CLA e de Maria de Sousa

Excertos de uma notícia do PÚBLICO:

(...)

A bola de neve de contestação contra a avaliação dos centros de investigação conduzida pela Fundação para a Ciência e a Tecnologia (FCT) chegou finalmente ao plenário da Assembleia da República (AR). Um mês após Miguel Seabra, presidente da FCT, ter anunciado os resultados da primeira fase de avaliação, os deputados votaram nesta sexta-feira uma proposta de protesto lançada pelo PS contra os cortes de financiamento que os centros terão na sequência desse processo. A proposta acabou rejeitada pelos deputados da maioria PSD-CDS.

“O investimento em ciência tem de ser uma ideia partilhada por todos para a defesa dos interesses nacionais”, lê-se na proposta de protesto. Nela, o PS defende que o “cenário calamitoso” da ciência portuguesa, devido ao corte nas bolsas de doutoramento e pós-doutoramento atribuídas pela FCT em Janeiro — que deu lugar a um grande protesto no início do ano —, “é agora reforçado com a publicitação dos resultados da primeira fase de avaliação das Unidades de Investigação”.

(...)

Ainda na quinta-feira, a avaliação dos centros foi analisada pelo Conselho dos Laboratórios Associados (CLA), uma rede de 26 institutos e cujo secretário é o cientista Alexandre Quintanilha. As “anomalias gritantes” da avaliação devem ser “urgentemente corrigidas”, defende o CLA em comunicado divulgado nesta sexta-feira. “Todas as unidades de investigação devem ser objecto de visitas de avaliação, essas visitas devem ser conduzidas por painéis especializados, e deve ser garantida a continuidade de financiamento-base às instituições avaliadas pelo menos com Bom”, lê-se, acrescentando-se que, nas novas regras, uma unidade com Bom “será na prática extinta”.

O CLA considera a política de “ruptura” do Governo uma “irresponsabilidade política”: “Pode um sistema científico funcionar sem um grande número de centros de investigação de boa qualidade, embora não excepcionais? Não pode, em parte alguma do mundo.”

Ouvida pelo PÚBLICO, a imunologista Maria de Sousa, professora emérita da Universidade do Porto, não defende a impugnação do processo de avaliação, ainda que ela “possa vir a ser juridicamente inevitável”: “Ainda há algum espaço na audiência prévia [período em curso de reclamação dos resultados] para se perceber bem o que se não fez e se poderia ter feito. Isso é talvez tão importante e mais exemplar do que impugnar”, diz. “A audiência prévia dá-nos a todos o espaço para provarmos que passámos a ser um país que se deve fazer respeitar internacionalmente pela maturidade da sua qualidade científica.”

Miguel Seabra — que Maria de Sousa considera ter tido até aqui uma “convicção cega, sem dúvidas e de que está certo” e uma “insensibilidade” em relação à comunidade científica que deveria representar — ainda está a tempo de voltar atrás. Por que não, em vez de impugnar, dar ao presidente da FCT, também um cientista, a oportunidade de corrigir a avaliação, refere a conhecida imunologista. “Um cientista deverá ser o primeiro a dar o exemplo de reconhecer erros que possa ter cometido, mesmo com a melhor das intenções, e procurar corrigi-los sabendo as limitações do que pode fazer.”

Texto completo aqui:

Processo de avaliação da ciência é "enormíssimo erro de política pública" - Reitor Lisboa

Um despacho da agência Lusa, transcrito do sítio do Porto Canal:

Lisboa, 25 jul (Lusa) -- O reitor da Universidade de Lisboa considerou o processo de avaliação das unidades de investigação "um enormíssimo erro da política pública", que está "enviesado desde o início" apelando ao Governo para que se "preocupe seriamente" com as "consequências desastrosas".

Em entrevista à Lusa, a propósito do primeiro ano de vida da nova Universidade de Lisboa, após a fusão da Clássica com a Técnica, António Cruz Serra diz que ficou claro desde o fim-de-semana passado que o processo de avaliação a cargo da Fundação para a Ciência e Tecnologia (FCT) -- que é também a instituição que atribui o financiamento público destas instituições científicas -- definia à partida que apenas metade das instituições obteria classificação suficientemente alta para passar à 2.ª fase da avaliação.

Ficar pela 1.ª fase significa não receber qualquer financiamento público ou, caso a avaliação dos centros de investigação seja de 'Bom', receber um financiamento no patamar mínimo, que varia entre os cinco mil e os 40 mil euros.

"Toda a informação que entretanto se foi reunindo leva-nos a concluir que aquilo que aconteceu com o processo de avaliação das unidades de investigação é um enormíssimo erro de política pública, é um processo que foi mal montado, uma avaliação que foi feita de forma amadora, por gente pouco qualificada, em muitos casos, para realizar a avaliação e que o processo estava enviesado desde o momento inicial. O erro político fundamental é que tal como o processo foi lançado nós vamos liquidar metade do sistema científico por via administrativa", declarou o reitor.

Cruz Serra disse que a avaliação foi entregue a entidades estrangeiras que desconhecem por completo a ciência em Portugal, e que os painéis de avaliação criados têm avaliadores sem "capacidade científica para avaliar as unidades na sua área científica", são de qualidade "altamente questionável" e que "não conseguem ganhar em Portugal, nas nossas melhores faculdades, um concurso de professor auxiliar".

O reitor declarou que "neste momento já se percebe como foi feita a avaliação", explicando que as unidades foram previamente avaliadas por especialistas da área científica em que se enquadram com notas bastante altas (iguais ou superiores a 17 numa escala que vai até 20), sendo depois avaliadas pelo avaliador do painel, que "normalmente não é da área, [percebendo-se] até pelo conjunto de disparates que estão escritos nessas avaliações, e que dá uma nota muito baixa".

"Aquilo que foi a avaliação final foi a avaliação desse avaliador. Porquê? Porque é ele que está no painel, ele é que foi encarregue de elaborar o relatório final", disse, acrescentando que a consequência foi a exclusão da próxima fase da avaliação de centros de "qualidade inquestionável" em todo o país, considerando que "tudo isto que está a acontecer é lamentável".

"Era como se o professor Nuno Crato tivesse pedido a um professor de Biologia para ir corrigir os exames nacionais de Matemática. Aquilo que aconteceu é algo que precisa de ser infletido, é um processo para o qual eu chamo a atenção do nosso ministro, do senhor primeiro-ministro, porque tem consequências políticas e consequências para o país desastrosas", disse.

António Cruz Serra entende que na fase em que o processo está ou a FCT assume que cometeu um erro, e que é preciso começar tudo de novo, ou não resta alternativa senão "repescar para a 2.ª fase da avaliação" centros excluídos e que não o deveriam ter sido, indo ao encontro da proposta entregue pelo conselho de reitores ao Governo, que defende que não se deve negar financiamento suplementar a unidades de investigação que já foram anteriormente avaliadas com notas muito altas ou a nota máxima.

"Acontece que muitas dessas unidades são unidades onde se faz um trabalho excelente, onde temos um investimento do país de duas dezenas de anos ou mais com equipamento e capacidade instalada de dezenas de milhares de euros e que de repente vai ser deitado fora e isto é algo absolutamente incompreensível", declarou Cruz Serra.

"Tenho a certeza absoluta que se a avaliação terminasse agora, nestas condições, haveria unidades de investigação de grande dimensão e de grande relevância que acabavam no dia a seguir", acrescentou.

Sobre a Universidade de Lisboa, o reitor garantiu que a instituição "não tem qualquer capacidade, com a dotação do Orçamento do Estado que recebe, de substituir o financiamento da FCT".

"Isso está completamente fora de questão. Estamos a trabalhar no limite do que é possível", declarou.

Das 322 unidades avaliadas, 163 (52%) passaram à segunda fase e outras 26% obtiveram a classificação de Bom, tendo assegurado um financiamento base, avançou a Fundação para a Ciência e Tecnologia.

sexta-feira, 25 de Julho de 2014

VOTO DE PROTESTO CONTRA OS CORTES NA CIÊNCIA CHUMBADO PELA MAIORIA PSD/CDS

O grupo parlamentar do Partido Socialista apresentou um voto de condenação à recente avaliação das Unidades de Investigação. Este voto foi rejeitado com os votos contra do PSD e do CDS/PP e a favor do PS, PCP, BE e Verdes:


Voto de Protesto 

Estão a ser impostos novos cortes no financiamento público na Ciência, desta vez, nas Unidades de Investigação.

O desinvestimento do XIX Governo no setor da Ciência tem merecido constantes críticas e manifestações de desagrado por parte da comunidade científica, decorrentes dos cortes cegos em bolsas e unidades de investigação, e de processos concursais pouco transparentes que têm levado a uma desacreditação progressiva daquela que em tempos foi uma instituição na qual os cientistas confiavam – Fundação para a Ciência e Tecnologia (FCT). 

No final do ano passado registaram-se cortes drásticos nas bolsas de doutoramento (-40%) e de pós-doutoramento (-65%), condenando deste modo toda uma geração de investigadores e procedendo a uma “destruição criativa” da Ciência, como assim a apelidou o conceituado investigador Manuel Sobrinho Simões. 

Este cenário calamitoso é agora reforçado com a publicitação dos resultados referentes à primeira fase de avaliação das Unidades de Investigação, cujo número de cientistas “sentenciados à morte”, como assim os designou o Investigador Carlos Fiolhais, é de 5.187 num total de 15.444 investigadores. 

Com efeito, a avaliação das unidades de investigação científica e de desenvolvimento tecnológico promovida pela FCT conjuntamente com uma organização internacional (European Science Foundation), cuja credibilidade está a ser muito questionada por parte da comunidade científica, desenvolve-se em duas fases distintas: uma 1ª fase eliminatória já concluída e que excluíu de qualquer financiamento 71 Unidades de Investigação, às quais se encontram associados 1.904 membros, e uma 2ª fase à qual poderão apenas concorrer as já selecionadas 168 Unidades de Investigação.

Assim, das 322 Unidades de Investigação, cerca de metade (154) poderão deixar de ter qualquer tipo de financiamento a curto prazo. 
Esta falta de financiamento direto às Unidades de Investigação, acrescida dos cortes orçamentais que nos últimos anos têm sido uma constante no Sistema Científico e Tecnológico Nacional, impossibilitam a continuidade de muitas instituições e põe em causa projetos cujo retorno económico para o país é por demais evidente. 

A falta de apoio a investigadores com provas dadas em diversos setores estratégicos como a Matemática, a Física, a Engenharia, a Sociologia, entre outras, muitos deles galardoados com distinções nacionais e internacionais, deve ser vivamente rejeitada, uma vez que constitui um convite à emigração, caso queiram continuam a trabalhar na área para a qual foram qualificados – Investigação. 

O investimento em Ciência tem de ser uma ideia partilhada por todos para a defesa dos interesses nacionais.

Neste sentido, a Assembleia da República exprime a sua posição contrária aos cortes em curso nas Unidades de Investigação, considerando-os assentes numa ótica economicista, que não salvaguarda o investimento feito e a sustentabilidade da produção científica nacional. 


Assembleia da República, 10 de julho de 2014 


DE ENCONTRO AO COMETA

Artigo primeiramente publicado na imprensa regional.



Há cerca de dez anos, mais precisamente a 2 de Março de 2004, um foguetão Ariane-5 lançou no espaço a sonda europeia Roseta. O objetivo científico desta missão é o de estudar em detalhe o cometa 67P/Churyumov-Gerasimenko e contribuir para o nosso conhecimento da formação do sistema solar.

O cometa 67P/Churyumov-Gerasimenko foi descoberto em 1969 quando Klim Churyumov examinava fotos de regiões do espaço feitas Svetlana Gerasimenko. Precebe-se assim o nome deste astro. Depois disso este cometa foi confirmado e observado várias vezes por astrónomos aquando da sua aproximação à Terra e ao Sol. Sabe-se que tem actualmente um período orbital de 6,45 anos.

Depois de uma década de peregrinação espacial de aproximação a um momento da órbita do cometa em torno do Sol, a sonda Roseta encontra-se agora a menos de cinco mil quilómetros do cometa. Esta aproximação já permitiu que a sonda conseguisse fotografar o perfil do cometa. Há poucos dias, a Agência Europeia Espacial (ESA, sigla em inglês) divulgou imagens cada vez mais detalhadas do cometa 67P/Churyumov-Gerasimenko, como aquela que em cima se publica.

As imagens captadas mostram um cometa com uma forma irregular e há quem diga que faz lembrar um pato de borracha. De facto a foto mostra um pedaço mais alongado que faz lembrar uma cabeça sobre um outro pedaço maior e arredondado que seria o corpo.

O reconhecimento da forma intrigante do cometa é importante para os cientistas que comandam a missão. Recorde-se que a sonda Roseta transporta consigo um pequeno módulo, o File (com 100 quilos), que será largado em Novembro deste ano para poisar sobre a superfície do cometa. “Teremos de fazer uma análise e uma modelação do formato do cometa, para determinar a melhor forma de voarmos à volta de um corpo com uma forma tão única, tendo em conta o controlo do voo e a astrodinâmica, as necessidades científicas da missão e os elementos relacionados com a aterragem, como a análise do local e a visibilidade entre o módulo de aterragem e a sonda”, explicou num comunicado da ESA Fred Jansen, o chefe da missão da Roseta (publicado no jornal o Público).

Esta missão espacial está rodeada de muita espectativa, uma vez que será a primeira vez que será colocado equipamento científico na superfície de um cometa para o estudar. Os cometas possuem poeiras cósmicas e estão recobertos com gelo primordial. São relíquias representativas da constituição do nosso sistema solar, testemunhos congelados da sua formação.

Assim, a análise do cometa 67P/Churyumov-Gerasimenko poderá fornecer pistas sobre a composição inicial do sistema solar e informações sobre a formação dos planetas, como a Terra. Refira-se que os cientistas têm indicações que muita da água e alguns compostos orgânicos que originaram a vida na Terra poderão ter vindo de cometas semelhantes a este, que agora se estuda, e que bombardearam o nosso planeta no início da sua formação. O seu estudo pode trazer novos dados que confrontarão essas hipóteses. Para além disto, esta é uma oportunidade única para se investigar a própria formação destes corpos errantes do nosso sistema solar.

Recorde-se que o nome desta sonda, Roseta, é uma referência à pedra com o mesmo nome que foi descoberta em 1799 e permitiu ao arqueólogo francês Jean-François Champollion decifrar os hieróglifos egípcios. Assim, o nome com que foi baptizada esta missão espacial representa o espírito científico de exploração e de decifração da informação que nos permitirá melhor reconstituir os momentos primordiais da formação do nosso lar cósmico e que levaram, por último, à evolução da nossa espécie, da inteligência que compreende e se maravilha com o Cosmos.


António Piedade

OS AVALIADORES EM 2007 E 2014: DESCUBRA AS DIFERENÇAS

Sylvia Tippmann, da equipa editorial do "The Conversation", partiu do artigo de Teresa Marques e construiu dois gráficos que mostram a diferença entre os painéis na avaliação das unidades em 2007 e na avaliação actualmente em curso.



Versão interactiva dos gráficos aqui.

Em 2014 o número de painéis é muito menor (cada painel avalia mais áreas), estes são constituídos por menos avaliadores e há uma enorme quantidade de avaliadores externos aos painéis (585). 

Cada uma das 322 unidades foi classificada por dois desses avaliadores externos, ou seja cada um dos avaliadores externos avaliou tipicamente uma ou duas candidaturas, não tendo as notas por si atribuídas qualquer comparabilidade. Há ainda uma terceira nota que é atribuída por um avaliador do painel. Mas estes poucos painéis são tão generalistas que não dominam todas as áreas que avaliam. No entanto, os avaliadores destes painéis que avaliam tudo e mais umas botas, foram decisivos na passagem ou não da unidade à segunda fase.

Resumindo: a avaliação das unidades em 2014 tem uma componente aleatória (notas dadas por avaliadores diferentes que não têm uma bitola comum nem visão de conjunto) e uma componente não especializada (painéis excessivamente abrangentes que avaliam mais áreas do que as que os seus membros dominam).

quinta-feira, 24 de Julho de 2014

COMUNICADO DA SOCIEDADE PORTUGUESA DE FILOSOFIA A PROPÓSITO DA AVALIAÇÃO DAS UNIDADES DE INVESTIGAÇÃO

Depois das sociedade de química e de física se terem pronunciado, a Sociedade Portuguesa de Filosofia torna também pública a sua posição acerca da avaliação das unidades de investigação:

Comunicado

A Sociedade Portuguesa de Filosofia (SPF) deseja exprimir publicamente a sua preocupação com o processo de avaliação dos centros de investigação nesta área por parte da Fundação para a Ciência e a Tecnologia (FCT). Apesar dos resultados muito positivos que a investigação filosófica tem conhecido em Portugal nos últimos anos (tendo em conta publicações, projectos e participação em redes internacionais), a conjugação entre a redução muito expressiva do número de bolsas de doutoramento e pós-doutoramento atribuídas, por um lado, e o previsível corte drástico do financiamento a vários centros no processo agora em curso, por outro lado, poderá ter efeitos altamente nocivos e colocar em causa o trabalho efectuado até aqui. Desta forma, a SPF junta a sua voz às tomadas de posição públicas por parte de sociedades científicas de outras áreas do conhecimento, pelos presidentes dos conselhos científicos da própria FCT e pelo Conselho de Reitores das Universidades Portuguesas.

Lisboa, 23 de Julho de 2014

REITOR DA UNIVERSIDADE DE LISBOA ARRASA A AVALIAÇÃO DA FCT


Declarações à Rádio Renascença de António Cruz Serra, Reitor da Universidade de Lisboa, de longe a maior Universidade portuguesa: 

://rr.sapo.pt/informacao_detalhe.aspx?fid=31&did=156742

Transcrevo, com a devida vénia :

O reitor da Universidade de Lisboa diz que o processo de avaliação das unidades de investigação, levado a cabo pela Fundação para a Ciência e a Tecnologia (FCT), "é lamentável" e vai resultar na "liquidação de uma parte do nosso sistema científico".

António Cruz Serra decidiu quebrar, em declarações à Renascença, o silêncio que mantinha sobre o assunto, por "não aguentar" ter lido determinadas declarações do presidente da FCT.

"Não aguentei ver escrito, numa entrevista ao presidente da FCT, que havia uma maioria silenciosa que apoiava o resultado da avaliação. Eu fazia parte dessa maioria silenciosa, mas não apoio, de maneira nenhuma, o processo que foi conduzido de forma pouco profissional, pouco eficiente e baseada numa política inaceitável", desabafa o reitor.

Para Cruz Serra, este processo vai "virar o sistema de pernas para o ar", caindo, assim, o país, "mais uma vez", em algo que "tem constituído uma das bases do nosso insucesso", porque "desta política não ficará nada, quando mudar o Governo e a direcção da FCT".

Classificando o processo de "lamentável" em três frente - na "política definida", na "aplicação da avaliação" e na "seriedade da avaliação - o reitor da Universidade de Lisboa sublinha que, "tendo sido especificado no contrato com a agência de avaliação que metade das unidades não passava à segunda fase", seria preciso "seriar as unidades", algo que não se verificou, uma vez que cada avaliador "avaliou uma ou duas unidades".

Nestas declarações à Renascença, António Cruz Serra acusa ainda que a maioria dos avaliadores não é "especialista da área da avaliação".

O reitor da Universidade de Lisboa apela ao primeiro-ministro para que coloque um fim a este processo de avaliação: "Apelo a que o nosso Governo e, nomeadamente, o primeiro-ministro consiga perceber que o resultado desta operação será a liquidação de uma parte do nosso sistema científico".

IMPUGNAÇÃO DA "AVALIAÇÃO" DA FCT

Ler Notícia de hoje no jornal "Público": aqui.

Destaco a parte final: O físico Carlos Fiolhais, da Universidade de Coimbra, defende que se cancele avaliação e se inicie outra nova, agora que se sabe da quota dos 50% de aprovações determinada no contrato, que só foi divulgado após alguns pedidos, incluindo a solicitação formal do jornalista e professor de jornalismo António Granado, ao abrigo da Lei de Acesso aos Documentos Administrativos.

“A comunidade científica tem de confiar no sistema de avaliação. Não poderá aceitar avaliações que são uma farsa e que distorcem a realidade da ciência em Portugal”, diz Carlos Fiolhais.

 É esta avaliação uma fraude? “Sim, tudo o indica”, responde o físico. “Numerosas instituições consideram-se defraudadas. Uma avaliação em que o resultado não depende exclusivamente do mérito dos avaliados, mas em que há classificações manipuladas para encaixarem em quotas pré-definidas e escondidas dos avaliados não pode ser considerada honesta.”

 Por tudo isto, Carlos Fiolhais considera muito difícil endireitar algo que já nasceu torto. “O mais sério é preparar outro processo de avaliação. Este foi barato [custou cerca de 400 mil euros, enquanto o de 2007 foi 1,6 milhões] e rápido. Não se perdeu muito nem do ponto de vista financeiro nem do ponto de vista temporal”. O mesmo diz Constança Providência, do Centro de Física Computacional de Coimbra: “É preferível recomeçar o processo e assegurar uma avaliação digna desse nome. Tomaremos todas as medidas legais ao nosso alcance para impedir que se concretize uma decisão mal pensada e mal tomada”, diz.

 “Claro que é ainda possível corrigir a trajectória, mas acho isso muito difícil de acontecer”, defende ainda o físico Nuno Peres, do Centro de Física da Universidade do Minho. “Tal significaria que a FCT teria que reconhecer que o processo começou enviesado à partida. Não creio que tal venha a ser feito. Assim levanta-se a questão da impugnação do processo”, considera.

Por todos estes motivos, Carlos Fiolhais critica a proposta que o Conselho de Reitores das Universidades Portuguesas (CRUP) começou por avançar na segunda-feira, para que fossem repescadas para a segunda fase da avaliação os centros que tiveram Excelente ou Muito Bom na avaliação de 2007. Até porque muitas unidades que existiam antes já não existem, porque se fundiram seguindo o apelo à formação de massa crítica feito pela FCT. “Além de não ser ético aceitar uma avaliação sem pés nem cabeça, seria uma falta de bom senso fazer correcções desse tipo. Então iríamos ter unidades repescadas pelas mesmas pessoas que, por imposição da FCT, as liquidaram há pouco tempo, com a agravante que agora tudo isso já é sabido?”

Uma irregularidade e um paradoxo


No seguimento de dois posts anteriores que desmontam o processo de "avaliação" da FCT eis outro post recebido de um investigador português no estrangeiro, devidamente identificado. O que ele afirma, fácil de comprovar, é mais uma contribuição para descredibilizar o processo  "avaliativo":

1. Conflitos de interesse

Os conflitos de interesse são um dos problemas que se colocam em todas as avaliações e são uma das razões pelas quais num país com a dimensão de Portugal esta deve ser levada a cabo por painéis compostos por cientistas residentes no estrangeiro. Diga-se em abono da verdade que os problemas maiores não costumam advir daí, uma vez que esses são fáceis de identificar, mas sim do facto de haver enviesamentos e preconceitos, relativos à nossa sub-área e às dos outros, de que todos sofremos, uns mais, outros menos, e que precisamente por serem tão naturais muitas vezes os próprios não se apercebem deles. Esta é uma das muitas razões pelas quais os painéis não podem ser em versão de saldo com três ou quatro investigadores por área como a que nos querem fazer engolir nesta avaliação.

Mas não deixa de ser uma questão que tem de ser acautelada e que assumimos que numa avaliação como esta não pode falhar, de tal forma se trata de um princípio básico. Como consequência, provavelmente muito poucas pessoas se lembraram de o verificar, incluindo a própria ESF.

A FCT descreve na secção 5 do Guião de Avaliação do exercício a decorrer o que entende por conflitos de interesse e como é que estes devem ser resolvidos. Mais precisamente, uma cooperação científica planeada ou a decorrer, por exemplo, poderá ser interpretada como um “disqualifying conflict of interest.” Embora não seja bem definido o que isto quer dizer, depreende-se da palavra “disqualifying” que será uma situação séria que tem ser resolvida e, em particular, os árbitros individuais deverão ser substituídos nesses casos. No caso de um membro do painel, o coordenador do painel deverá resolver a questão com o auxílio da equipa da FCT, embora não seja dito como.

Há várias questões que se levantam de imediato. Porquê uma menção a uma equipa da FCT que, supostamente, não tem nada a ver com esta parte da avaliação? Quais são os métodos utilizados para resolver um conflito de interesse? E o que é que sucede se se vier a descobrir, a posteriori, que de facto havia um conflito de interesse? Finalmente, como é resolvido um caso de conflito de interesse respeitante ao coordenador de um painel?

2. Uma experiência simples

Vem isto a propósito de uma experiência que qualquer pessoa com acesso a uma base de dados apropriada pode fazer e que consiste em verificar se os membros dos painéis satisfazem de facto as condições enunciadas – de notar que a ESF vai mais longe do que a FCT e indica explicitamente no já famoso contrato que fez com esta que todos os membros dos painéis satisfarão as condições da FCT no que diz respeito a conflitos de interesse.

Teríamos portanto de nos preparar mentalmente para estar a perder o nosso tempo caso decidíssemos estar à frente do computador a verificar a inexistência de conflitos de interesse dos membros dos diferentes painéis, até porque noutra cláusula a FCT insiste em que o que se passou há mais de três anos não é relevante.

No total verificamos que há cerca de dez (10) membros dos diferentes painéis que já publicaram com elementos das unidades a ser avaliadas, mas essas publicações encontram-se nalguns casos bastante distantes no tempo (1992!) e a FCT irá certamente argumentar que, mesmo quando há aquilo que classifica como conflitos potenciais (artigos conjuntos nos últimos três anos), eles não são significativos.

Antes de prosseguirmos, devemos afirmar que pensamos que o enviesamento mencionado acima  tem a ver com especificidades de área e que estas são detectáveis precisamente através de colaborações conjuntas, independentemente da altura em que foram feitas, uma vez que denotam um interesse comum. Num processo de candidaturas de uma agência europeia efectuado recentemente, declarámos um artigo em conjunto com um dos membros da equipa candidata publicado oito anos antes. A resposta da agência foi que, nessas condições, o painel preferia que não servíssemos como árbitro.

3. Um resultado surpreendente: a irregularidade

Teríamos pois, de facto, perdido tempo se não tivéssemos mentido acima quando escrevemos que não havia nada de especial a assinalar, para além de pequenas infracções às regras. Mas o resultado que se obtém é de tal forma bizarro que custa a acreditar. É um pouco como se andando à procura de uma espécie rara de insecto tivéssemos dado de caras com o yeti. E isto na Holanda. Quem quiser o ter o benefício de uma experiência destas, deverá parar de ler e ir fazer uma busca à sua base de dados favorita para detectar conflitos de interesse nos painéis – podemos garantir que sairão recompensados.

Isto porque, no caso do coordenador de um dos painéis, este tem, não uma, nem duas, nem o que seja imaginável pensar num caso destes, mas sim quarenta e duas (42!) publicações com autores portugueses, na sua grande maioria de uma mesma instituição. Trata-se do painel das ciências exactas e a experiência é reprodutível para quem a quiser fazer em casa (obviamente não verificámos as publicações uma a uma):

Search keys:
Author: Mason NJ
Address: Portugal AND (Open University OR UCL)
Years: 2002 to 2014 [a colaboração parece ter-se iniciado nesse ano]

Estas publicações correspondem a cerca de um quarto do total das publicações deste investigador no mesmo período, as quais podem ser vistas removendo a palavra 'Portugal' da busca acima.

Dado o pouco normal de uma situação destas, é evidente que convém verificar se não se trata de um erro com um homónimo ou qualquer coisa semelhante. Mais uma vez não verificámos todos os artigos um a um, mas uma busca na página do Professor Nigel Mason permite ficar as saber que é o autor de pelo menos alguns desses artigos e, para que não restem dúvidas, informa-nos também que faz parte do

ESF Review Committee of Portuguese Review of Physics Research Units.(Chair Exact Sciences panel) (Portuguese REF equivalent) 2014 –

Notamos que o comité é indicado apenas como sendo das unidades de física (embora do painel das ciências exactas), o que confirma aquilo que já sabíamos: as diferentes áreas científicas não se misturam e a junção de todas no mesmo saco é apenas para não ser tão óbvia a redução drástica no número de avaliadores de facto em cada uma delas – este ponto não foi escolhido para ser destacado pelo presidente da FCT na sua apresentação de dia 27 de junho em que explica as diferenças entre o processo actual e as avaliações anteriores.

Para sabemos como é que este conflito de interesse foi resolvido teremos de esperar pelo relatório final deste painel elaborado pelo seu coordenador. Relembramos também que a ESF garantiu no contrato que situações destas não ocorreriam.

4. O desfecho e o paradoxo

E a unidade a que pertencia a maioria dos colaboradores em todos estes artigos? É o nosso triste dever anunciar que, pelo menos por enquanto, não passou à segunda fase, ficando assim demonstrado que todo o barulho feito acima não passa de mais uma tentativa de denegrir esta avaliação, não tendo certamente o coordenador insistido, pelo menos durante a elaboração do relatório, que a equipa com quem trabalhou nos últimos 12 anos deveria passar à segunda fase. Terá certamente abandonado a sala (ou a mesa do seu computador) enquanto os outros dois ou três membros de física do painel elaboravam a sentença.

Mas não é esse o paradoxo, até porque não podíamos esperar outra coisa. Para encontrarmos o verdadeiro paradoxo, teremos de utilizar um pouco de bibliometria, pelo que quem é avesso a essas coisas não deverá continuar a ler.

Um dos princípios por detrás do facto de um cientista não dever atribuir uma classificação a outro no caso de terem algumas publicações em comum, tem simplesmente a ver com o óbvio de se estar, de algum modo, a classificar-se a ele próprio. Pode argumentar-se que, no caso de duas ou três publicações não será esse o caso mas, a partir de um número considerável começa a haver um percurso em comum. O que é o caso para este período, onde, como mencionamos atrás, 25% das publicações do coordenador do painel coincidem com as do centro que foi avaliado.

Obviamente que para termos uma ideia do impacto desta colaboração no curriculum do Professor Mason teríamos de fazer uma análise detalhada dos trabalhos, análise essa para a qual não somos competentes nem temos tempo. Mas, não tendo os meios necessários para fazer essa avaliação, podemos, inspirados pela  FCT, utilizar o método dos pobrezinhos. Ou seja, pedimos a dois avaliadores externos para fazer uns relatórios e depois elaboramos um relatório de consenso em que justificamos o nosso parecer.

Em relação aos relatórios externos, utilizaremos os relatórios que foram utilizados para impedir o centro em causa de passar à segunda fase. São certamente bons para isso, uma vez que chegaram para eliminar esse centro. Aliás, nem precisamos de os ver – basta saber que serviram para chumbar o centro e se isso é suficiente para a FCT, é suficiente para nós. Só nos falta provar a equivalência entre o centro e o Professor Mason.

Para isso, vejamos as restantes publicações do candidato durante este período recorrendo a um  estudo bibliométrico que podemos encomendar ou fazer em casa, com a finalidade de saber o que o Professor Mason foi capaz de realizar sem a colaboração do grupo que foi chumbado.

As tabelas apresentam dois grupos de resultados: Professor Mason sem o grupo português no período em causa, e Professor Mason com o grupo português no mesmo período.


Artigos de Mason NJ sem o grupo português, no período 2012-2014
Citações a esses artigos
Results found
119
Sum of the Times Cited
1134
Sum of Times Cited without self-citations
1036
Average Citations per Item
9.53
h-index
18



Artigos de Mason NJ com o grupo português, no período 2012-2014
Citações a esses artigos
Results found
42
Sum of the Times Cited
471
Sum of Times Cited without self-citations
409
Average Citations per Item
11.21
h-index
13

Dos índicadores acima, o valor mais significativo numa primeira análise é o que traduz o número de citações por artigo, uma vez que é o único que tem em conta a diferença do número de artigos em comparação. E neste caso o grupo português bate claramente o Professor Mason por mais de um ponto e meio em cerca de dez. Não temos pois, outra escolha, que não seja a de abater o candidato com base nos relatórios externos, na análise bibliométrica e no facto de este não assinar a revista Gazeta de Física [Anon1585]. Até porque uma comparação do indíce h também não pressagia nada de bom – utilizando a relação h = hm Nβ onde N indica o número de artigos, β o crescimento e hm um coeficiente de normalização, com a escolha standard de β=0.4 [Molinari e Molinari 2006] e recorrendo ao caso português para determinar hm, concluímos que o Professor Mason sem o grupo português, para poder almejar a ultrapassar a barreira da mediocridade e merecer financiamento na nova era que se aproxima, teria de ter um indíce h bastante superior a 19,7, o que não é o caso.

5. Conclusões

A pseudo-avaliação feita acima tem quase tantos erros como a da ESF, e os leitores interessados poderão listar esses erros desde que se abstenham de os colocar nos comentários ou de os enviar ao Carlos Fiolhais. Mais interessante será indicar as semelhanças. Por exemplo, tal como a avaliação do tandem ESF/FCT, não é para ser levada a sério. Excepto no que toca a dois pontos.

Em primeiro lugar, ao aceitar fazer parte do painel e ainda por cima na qualidade de coordenador, o Professor Mason está a colocar-se numa situação lose-lose, sendo o relatório do painel sobre o centro em causa o que o Google traduz como auto-destrutivo ou auto-derrotado mas que a expressão inglesa self-defeating ilustra melhor – ou seja, ao negar a relevância e a qualidade desta parte da investigação do centro, o painel está, até certo ponto, a fazer o mesmo em relação à investigação do seu coordenador.

O paradoxo pode então ser formulado da seguinte forma: poderá um painel implodir, ou seja, poderá um painel através de uma classificação que atribui a uma das unidades a avaliar, simultaneamente mostrar que não está apto a fazer essa avaliação? A resposta parece ser que sim. Mas, tal como em muitos paradoxos deste tipo, o problema está na auto-referência e não surgirá em avaliações feitas de acordo com os melhores padrões internacionais.

Em segundo lugar, tudo isto vem mais uma vez demonstrar a falta de rigor da ESF, que parece pensar que meter uma série de pessoas numa sala é o mesmo que proceder a uma avaliação, e para quem o controlo de qualidade se reduz a uma frase no contrato indicando que irá recolher os relatórios e verificar se estão de acordo com os critérios acordados – não é possível corrigir  a posteriori erros como os que aparecem nalguns dos relatórios [Anon1585, Anon90321, Anon91270, etc]; esse acompanhamento teria de ter sido feito durante o processo, ou pelo coordenador, ou por elementos da ESF destacados para esse fim.

Agradecimentos

O presente trabalho foi parcialmente financiado pelo projecto FCT/PINTJ5000/2014, pelo que, seguindo as regras que entraram em vigor em maio de 2014 relativas ao acesso aberto [Pereira e Seabra 2014], foi submetido a uma revista que satisfaz as exigências nesse capítulo e pelo qual seremos obrigados a pagar metade do dinheiro alocado ao centro para 2015. Esperamos ainda poder vir a publicar mais um artigo nesse ano, por forma a poder seguir as sugestões do painel relativas ao melhoramento do centro.

Bibliografia

Anon1585, Relatório sobre o CIES-IUL [“More to the point, one does not see whether the center subscribes to the relevant databases and journals, as well as purchases enough books to satisfy the demands of its researchers”] ESF/FCT 2014.

Anon90321, Relatório sobre o CEI-IUL [Atribuição de 20 valores, depois de elogiar uma conferência organizada pelo centro na qual participou] ESF/FCT 2014.

Anon91270, Relatório sobre o ISTAR-IUL [“This is an extremely difficult review to do, because the material submitted is so confused. I don't think that this is due to the unit being evaluated, but because of the layout of the form that they have had to fill in.”] ESF/FCT 2014.

Molinari, JF e Molinari, A, A new methodology for ranking scientific institutions. Scientometrics, Vol. 75, No. 1 (2008) 163–174.

Pereira, P e Seabra, MC, Acesso aberto a publicações científicas resultantes de projetos de I&D financiados pela FCT. Publicações FCT 2014.

AVALIAÇÃO DE CIÊNCIA

A Nature de hoje tem um suplemento sobre avaliação de ciência acessível em

O pdf pode ser downloaded em

Independentemente do conteúdo desse suplemento, penso que cada país deve ter uma estratégia para a sua política de I&D, que tenha em conta os seus problemas sociais, económicos e culturais, e salvaguarde possíveis conflitos de interesse geoestratégicos, competitividade e preconceitos (e.g., países do sul devem dedicar-se ao turismo, como consta de um relatório da presente avaliação). Aceito a avaliação por pares (meu par=pessoa da mesma área científica que aceitaria ser avaliada por mim), mas repudio a avaliação por avaliadores profissionais (burocratas) como repudio a governação por políticos profissionais.

Se aplicássemos os critérios actuais aos maiores da cultura universal veríamos como estes critérios são ridículos: Einstein A (só publicou 5 artigos no seu melhor ano); Camões L (publicou um poema e uns sonetos); Maxwell JC (4 equações); Schrödinger E (1 equação)! 

Luís Alcácer

quarta-feira, 23 de Julho de 2014

Augusto Santos Silva comenta na TVI24 a avaliação da FCT

Ver http://www.tvi24.iol.pt/videos/video/14170858/1

A destruição da ciência vista por Constança Cunha Sá na TVI24


Ver aqui a partir do momento 10:26.

INICIATIVA NACIONAL PARA SUSPENSÃO DA AVALIAÇÃO DA FCT

Transcrevo mensagem do SNESup e carta ao Ministro da Educação e Ciência que está a circular na Comunidade Científica Nacional. Eu assino, claro, em face de todas irregularidades que já foram divulgadas.

Exmo. Senhor Coordenador de Unidade de I&D

Na sequência da reunião do SNESup com as Unidades de I&D Nacionais que não passaram à segunda fase do concurso de Avaliação das Unidades I&D promovido pela Fundação para a Ciência e Tecnologia (FCT) em 2013 do dia 14 de julho e da reunião entre o SNESup, SPGL e personalidades da Ciência Portuguesa, no dia 19 de julho, decidiu-se solicitar ao Senhor Ministro da Educação e Ciência, Professor Doutor Nuno Crato, a suspensão do processo de avaliação das Unidades de I&D.

Para o efeito estamos a difundir por todas as Unidades de I&D a carta em anexo, a qual irá ser entregue no dia 29 de julho ao Sr. Ministro, e se merecer a sua concordância solicitar que a mesma seja assinada com identificação da Unidade de I&D por Vossa Excelência e pelos elementos da sua Unidade que assim o desejem e, enviada para o endereço (snesup@snesup.pt), na forma digital até ao dia 28 de julho às 14 horas.

Convidamo-lo também para se juntar à iniciativa de, no dia 29 de julho às 15h, entregar em mão ao Sr. Ministro o pedido suspensão do processo de Avaliação das Unidades de I&D. Mais tarde serão enviadas informações em relação à hora e ao local de reunião.

Outras iniciativas estão ser preparadas.

Queixa ao Ministério Público (o texto ainda está em preparação nos nossos serviços jurídicos). Solicitamos que nos informe se, enquanto coordenador de uma Unidade de I&D ou a título individual, está disponível a subscrever esta ação e se nos pode enviar elementos suscetíveis de demonstrar os “erros grosseiros” subjacentes à primeira fase do processo de avaliação.

Informamos também que a suspensão do processo de avaliação da Unidades I&D 2013 pela via judicial, incluindo uma Providência Cautelar, tem que ser subscrita pelos coordenadores das unidades de I&D. O SNESup está disponível para dar apoio jurídico para o efeito e pergunta se a sua Unidade de I&D está também disponível para subscrever uma ação deste tipo.

Os melhores Cumprimentos,

Romeu Videira
Membro da Direção do SNESup
Responsável pela área da Política Científica e Apoio aos Investigadores


------------------------------------------------------------------------------------------------

Ex.mo Sr.
Ministro da Educação e Ciência
Professor Doutor Nuno Crato

Tendo em conta as comprovadas situações de prejuízo e falta de equilíbrio relativas ao processo de avaliação de Unidades de I&D 2013, muitas das quais tornadas públicas nos últimos dias, e que mereceu mesmo o reparo por parte dos presidentes dos conselhos científicos da Fundação para a Ciência e Tecnologia e da comunidade em geral, dada a situação insustentável criada para o Sistema Científico Nacional e das graves implicações no futuro da investigação realizada no nosso país, vimos por este meio solicitar a suspensão do processo em curso, seguido de uma completa reavaliação das Unidades de I&D, num quadro de paridade e justiça. 

Esta ação de suspensão e reavaliação permite criar condições para um regresso a uma política de investimento em Investigação e Ciência, que merecia consenso a nível nacional e que foi fortemente abalado por um conjunto de decisões de grave impacto e que mereceram um repúdio generalizado.

Minha Conferência em Aveiro sobre "Hands on Science"


Ler aqui: http://uaonline.ua.pt/pub/detail.asp?c=39348