segunda-feira, 28 de Julho de 2014

PROCESSO DE AVALIAÇÃO DAS UNIDADES DE INVESTIGAÇÃO: MAIS UM DESABAFO

Um texto da autoria de Antónia Amaral-Turkman, Ivette Gomes, Isabel Fraga Alves, Daniel Paulino, e Feridun Turkman, coordenadores dos grupos e linhas temáticas do Centro de Estatística e Aplicações da Universidade de Lisboa:

Após mais de 30 anos dedicados ao desenvolvimento das áreas de Probabilidade, Estatística, Processos Estocásticos e Aplicações, com a construção de uma “Escola de Extremos” e uma “Escola de Estatística Bayesiana” em Portugal, reconhecidas internacionalmente, foi na realidade com enorme mágoa e espanto que vimos o CEA/UL (Centro de Estatística e Aplicações, Universidade de Lisboa) não passar à segunda fase do processo de avaliação de unidades de investigação, em curso para 2015-2020. Diz o Coordenador do CMA/FCT/UNL que para “os centros não classificados deve haver um novo concurso no próximo ano ao qual eles poderão participar após profunda reformulação interna”. O problema é que no caso do CEAUL, e possivelmente de muitas das unidades que não passaram à segunda fase, não existe qualquer necessidade de tal reformulação. Até porque a maior parte das afirmações deste painel, que obviamente não transcrevemos, mas que foram explicitadas na contestação apresentada à FCT, pareciam ser mais do que suficientes para o CEAUL passar à segunda fase, e nunca ter a classificação de “Good”. É totalmente óbvio do relatório a que tivemos acesso que os comentários do painel não são coerentes com a classificação atribuída nos vários critérios e que essas classificações (B:3, C:3) foram apenas dadas para baixar a nota para 14, de modo a cumprir quotas, e assim colocar o CEAUL abaixo do limiar requerido.

Na realidade, e na 1ª fase do processo, o CEAUL recebeu classificações de 18/16/17 com opinião unânime dos 3 avaliadores de “very good to excellent”. Todos os comentários desses 3 avaliadores foram altamente apreciativos do trabalho desenvolvido pelo CEAUL, quer a nível nacional quer internacional, reconhecendo a grande importância deste Centro. No que diz respeito aos resultados do estudo bibliométrico, nos quais na realidade não acreditamos muito, devido à base de dados escolhida e à não existência de qualquer tipo adequado de ponderação, o CEAUL encontra-se também bem classificado na grande maioria dos itens, com um “rank” mediano de 4.5 (entre os 15 Centros incluídos na lista de Centros de Matemática). Na realidade, quando se olha para esse indicador, ou mesmo para qualquer outro dos indicadores apresentados na folha .xls, que penso estar ainda disponível na “website” da FCT, quase parece haver uma correlação negativa entre a passagem à segunda fase e esses indicadores. Temos pois grande dificuldade em entender o porquê de nos obrigarem a todo o processo relacionado com o SCOPUS e o ORCID … No estudo bibliométrico talvez tivesse valido a pena a FCT ter mencionado pelo menos os “outros” artigos per FTE em revista internacional, para se conseguir vislumbrar se teria sido esse o indicador considerado pelo painel … Com raras excepções, e isto relativamente à área da Matemática, que é a única que analisámos, quase parece que quem tem piores indicadores foi quem passou à segunda fase ... Claro que não estamos com isto a duvidar do mérito das unidades que passaram à segunda fase, nem a duvidar que mereciam passar.

A título meramente ilustrativo apresentamos em seguida uma tabela com os 15 Centros ordenados relativamente ao indicador atrás referido:

Centro Rank’ mediano Classificação
FTE Researchers’
CIDMA
1
2ªFase
45.45
CMAT/UM
3
FAIR
23.65
CEMAPRE
4
GOOD
15.95
CMAF-CIO
4
2ªFase
35.55
CEA/UL
4.5
GOOD
17.95
GFM/UL
5.5
GOOD
9.7
CMA/UBI
8
GOOD
7.6
CMUP
9
2ªFase
28.9
CEMAT
9
2ªFase
19.8
CMA/FCT/UNL
9.75
2ªFase
34.7
CAMGSD
9.75
2ªFase
46
CEAFEL
10
2ªFase
14.5
CMUC
11.5
2ªFase
40
CIMA/UE
12.25
GOOD
16.5
CIDPCC
15
GOOD
3.3

Os dados que temos são escassos, e não permitem qualquer análise estatística fiável, mas exceptuando o CEAFEL e o CEMAT até parece que quase tudo depende do número de investigadores integrados (em percentagem de tempo de dedicação) como se depreende da última coluna da tabela anterior… E não conseguimos deixar de referir o quão estranho nos parece um Centro como o CIDPCC (que não conhecemos), com 0.6 artigos/FTE, relativamente à base de dados em causa, e com 11 investigadores, ter tido uma classificação de GOOD, recebendo pois um financiamento de 5000 Euros, tal como o CEA/UL, com 39 investigadores integrados (e 11.64 artigos/FTE), enquanto o CMAT (com um grupo de investigadores jovens e promissores na área da Estatística, que conhecemos bem), com 14.68 artigos/FTE, teve a classificação de FAIR. Note-se no entanto que, face ao ridículo do financiamento, nos parecia preferível terem tido a classificação de FAIR, sem financiamento, todos os Centros que não conseguissem a classificação de VERY GOOD.

Mesmo que seja de forma inocente, concordamos inteiramente com a opinião manifestada pelo Reitor da UL: a FCT parece realmente querer liquidar uma grande parte do sistema científico em Portugal, e ao liquidar o CEAUL quer nitidamente liquidar a Estatística, apesar de esta ser uma área transversal a toda a Sociedade, onde a produção científica tem sido, no nosso entender, EXCELENTE no decurso desta última década. Consideramos realmente inadmissível o que “esta FCT” tem feito e continua a fazer à investigação em Ciências Exactas em Portugal. E falamos desta área em exclusivo, pois não conhecemos o que se está a passar nas outras áreas.

Tal como o Reitor da UL, ficámos ainda mais indignados quando ouvimos o Presidente da FCT declarar que existia uma “maioria silenciosa de cientistas que apoiava o resultado da avaliação”. Interrogámo-nos sobre o que seria isso da “maioria silenciosa de cientistas”?  Não parece ser difícil descobrir ... e até nem nos parece ser maioria ... São obviamente aqueles que não querem falar, ou por não terem paciência para isso, ou porque sentem que têm “pés de barro”, passaram à segunda fase, e não estão minimamente interessados em se comprometer com o desenvolvimento da Ciência em Portugal. Estão meramente interessados em continuar a ter algum financiamento, mais do que teriam se entrassem todos os 15 Centros em jogo, o que também achamos que não deveria obviamente acontecer. Falam entre eles, e manifestam muitas vezes o seu total desacordo com o que se está a passar, como temos ouvido das fontes mais diversas, mas mantêm esse seu desacordo no segredo dos deuses, com medo de serem penalizados.

No nosso entender, o painel, de cuja competência não queremos duvidar, mas que também não consideramos que, e parafraseando mais uma vez o Coordenador do CMA “percebe muito mais de matemática do que todos nós, conjuntamente”, sentiu-se por um lado constrangido pela limitação que lhe foi colocada sobre a necessidade de só poderem passar à segunda fase cerca de 52% dos centros em qualquer das áreas. Este “threshold” é no nosso entender totalmente errado, pois poderão existir áreas onde a percentagem de centros com classificação potencialmente igual ou superior a “Very Good” está muito acima dos 52%, tal como em nosso entender acontece na área da Matemática, e outras áreas, relativamente às quais não temos conhecimentos mínimos para nos pronunciarmos, em que essa percentagem pode ser bem mais baixa. Por outro lado, num processo complicado como este é, deveria ter havido um mesmo painel alargado de especialistas de cada uma das áreas ... No nosso entender as unidades da área da Matemática deveriam ser todas seriadas por um mesmo painel de especialistas em Matemática, que incluísse pelo menos um investigador da área da Estatística, devido à especificidade desta área relativamente a outras áreas da Matemática, algo que não se verificou, uma vez que segundo ouvimos dizer, cada um dos 11 avaliadores do painel das Ciências Exactas “avaliou uma ou duas unidades”.

Parece-nos não haver dúvidas que existiram obviamente erros graves na avaliação dos Centros da área da Matemática, e pensamos que esses erros de decisão foram causados pela ordem dada pela FCT. Pertenceríamos à “maioria silenciosa” se tivesse havido uma classificação justa, mas não houve. Aquilo que se passou com o CEAUL, passou-se também com outros Centros da Matemática que não passaram à segunda fase, e cuja produção conhecemos. Tudo isto é na realidade um desgaste tremendo, que em nada contribui para o desenvolvimento da Ciência em Portugal.

A saga das avaliações

Vale a pena ler o artigo de opinião do cientista Miguel Mota no Público, que chama a atenção para dois pontos não enfatizados até agora:

 - necessidade de introduzir como input o dinheiro investido e recompensar quem fez muito com  pouco (não foi, de facto, considerada a produtividade científica por euro investido).

 - necessidade de co-responsabilizar a FCT e o governo em vaso de menor sucesso de algumas unidades, lembrando que a obrigação dos responsáveis é corrigir e ajudar em vez de pura e simplesmente eliminar (queimando o "joio", conforme a metáfora de um dos responsáveis).

Clicar em:

http://www.publico.pt/ciencia/noticia/a-saga-das-avaliacoes-1664469

domingo, 27 de Julho de 2014

MIGUEL SEABRA: O TRIGO, O JOIO E A MAIORIA SILENCIOSA


Numa entrevista recente à Radio Renascença, talvez inspirado pelo circunstância desta ser a emissora católica portuguesa, o Presidente da Fundação para a Ciência e Tecnologia achou que cairia bem uma parábola religiosa. Disse que a avaliação dos centros de investigação está a "separar o trigo do joio". De acordo com Mateus 13:24-30 durante o Juízo Final, os anjos vão separar os "filhos do maligno" (o "joio", ou ervas daninhas) dos "filhos do reino" (o trigo):

"Mas enquanto os homens dormiam, veio um inimigo dele, semeou joio no meio do trigo e retirou-se. Porém quando a erva cresceu e deu fruto, então apareceu também o joio. Chegando os servos do dono do campo, disseram-lhe: Senhor, não semeaste boa semente no teu campo? pois donde vem o joio? Respondeu-lhes: Homem inimigo é quem fez isso. Os servos continuaram: Queres, então, que vamos arrancá-lo? Não, respondeu ele, para que não suceda que, tirando o joio, arranqueis juntamente com ele também o trigo. Deixai crescer ambos juntos até a ceifa; e no tempo da ceifa direi aos ceifeiros: Ajuntai primeiro o joio e atai-o em feixes para o queimar, mas recolhei o trigo no meu celeiro."

Miguel Seabra aparentemente considera que alguém, mal intencionado, andou a semear unidades de investigação semelhantes a ervas daninhas no meio das muito boas, excelentes e excepcionais e que estará na hora de as atar em feixes para as queimar.

O Presidente da FCT gosta de usar metáforas.  Já antes, numa entrevista ao PÚBLICO, Miguel Seabra tinha dito que havia uma  "maioria silenciosa" de cientistas que apoiam as políticas de "excelência" e "excepcionalidade" do Governo. A expressão "maioria silenciosa" foi usada pela primeira vez pelo Presidente Nixon dos EUA para designar a parcela do povo americano que, segundo ele, o apoiaria na sua política de guerra no Vietname, por oposição à à activíssima “minoria” que se lhe opunha e de que os media faziam eco. Toda a gente sabe que Nixon resignou. A expressão foi também usada pelo general Spínola em 1974, então Presidente da República, para designar uma suposta maioria conservadora da sociedade portuguesa, que se oporia a políticas de esquerda. Como se sabe, Spínola viu-se obrigado a procurar refúgio em Espanha.

Miguel Seabra, coloca assim o apoio dos investigadores à avaliação das unidades de investigação no mesmo patamar do apoio popular à guerra do Vietname. Nisso, provavelmente está certo.

A AVALIAÇÃO FRAUDULENTA DA CIÊNCIA QUE A FCT ESTÁ A FAZER

Minhas declarações ao jornal Público na semana passada que foram publicadas em parte. Elas ocorreram logo  a tomada de posição do CRUP e antes da posição do Reitor da Universidade de Lisboa, a maior do país, que se distanciou do CRUP, e do Conselho de Laboratórios Associados, que representa a posição conjunta dos maiores laboratórios do país.
  
P- A FCT entrou em processo de negação, desmentindo o que  está à vista no contrato. Depois de termos ficado a saber que o contrato entre a FCT e a ESF definia à partida uma taxa de aprovação de 50%, esta avaliação deveria ser impugnada? 

 R- De facto, uma avaliação assim não é credível, podendo ser impugnada. Uma coisa é tomar a decisão política de financiar apenas 50% das unidades de investigação. Essa seria uma decisão completamente errada, com a qual eu não concordaria, mas em teoria legítima, no quadro da responsabilidade governativa, se tivesse sido assumida por quem de direito e aprovada, depois de devidamente debatida. Outra coisa é manipular uma avaliação de modo a que metade dos centros fiquem abaixo de uma determinada classificação, não sendo assim  financiados. Isso não é sério! A avaliação das unidades é uma peça fundamental no sistema científico português, pois este cresceu e consolidou-se graças a sucessivas avaliações credíveis. Actualmente, essa avaliação é determinante não só no financiamento directo às unidades, mas também no desfecho dos concursos a financiamentos em que o centro está envolvido. A comunidade científica tem de confiar no sistema de avaliação. Não poderá aceitar avaliações que são uma farsa e que distorcem a realidade da ciência em Portugal. O problema não só desta avaliação da FCT mas como de toda a gestão da FCT nos últimos anos  é a  inexistência de confiança por parte da comunidade científica. Sem confiança, sem representatividade que a assegure, dificilmente se pode alcançar um objectivo que mobilize a todos para o aperfeiçoamento do  nosso sistema científico-tecnológico.

 P- Sabe de alguma instituição que esteja a preparar formalmente a impugnação da avaliação? 

R- Sim. Organizações de professores e investigadores já manifestaram a sua disponibilidade para, em conjunto com  unidades de investigação, avançarem com acções com vista à impugnação da avaliação.

 P- Ainda é possível corrigir este processo, como defendeu ontem o CRUP? Ou esta posição não passará de um remendo de algo que já não tem remendo? 

 R- Penso que será muito difícil endireitar algo que nasceu torto. Diz o povo e com razão que o que nasce torto tarde ou nunca se endireita. A proposta do CRUP, decerto bem intencionada,  permitiria repescar algumas unidades para a segunda fase, designadamente aquelas que ficaram ligeiramente abaixo da linha de água arbitrária dos 50%, aquelas cuja classificação terá sido baixada artificialmente de um modo mais injusto e flagrante. Mas, para além de não ser ético aceitar uma avaliação sem pés nem cabeça, seria uma absoluta falta de bom senso fazer correcções desse tipo. Então iríamos ter unidades repescadas pelas mesmas pessoas que, por imposição da FCT, as liquidaram há pouco tempo, com a agravante que agora tudo isso já é sabido? Já nem falo na atribuição do financiamento, pois adivinho que a FCT possa deixar passar uma ou outra unidade para a seguir as deixar sem financiamento. Quer dizer, daria um prolongamento de vida do condenado antes da execução da sentença. Por outro lado, a proposta do CRUP permitiria a passagem à segunda fase de unidades muito bem classificadas na avaliação anterior. Mas muitas unidades que existiam antes já não existem: fundiram-se, em consonância com o apelo à formação de massa crítica feito pela FCT. Mas, mais uma vez, a passagem à segunda fase nada garantiria, uma vez que as unidades que passam a esta fase ainda podem ter qualquer classificação, até mesmo insuficiente. Seria um indulto de alguns condenados, mas sempre uma solução desajeitada, que pioraria ainda mais a credibilidade da FCT e deste processo de “avaliação”. O mais sério é preparar, com tempo, outro processo de avaliação. Este foi barato e rápido, ainda não se perdeu muito nem do ponto de vista financeiro nem do ponto de vista temporal. Aliás até se ganhou alguma coisa: no meio de muita confusão, apareceram algumas coisas úteis, em particular quando calhou haver pareceres de especialistas. Não é um instrumento completamente perdido. 

P- Embora a impugnação possa corrigir os erros, que implicações pode ter para o sistema científico? Haveria  atrasos? 

 R- Isso depende do que a FCT e sobretudo do que o ministro Nuno Crato optar por fazer. A avaliação das unidades é hoje fundamental para qualquer concurso em que a FCT esteja envolvida (bolsas, contratos de investigador, projectos, etc.) e é bom que o seja. Com a impugnação desta avaliação, vigorariam naturalmente as classificações anteriores até que estivesse concluída uma avaliação credível. É impensável que a FCT optasse por congelar a ciência em Portugal. Se o soneto é mau, a emenda seria muito pior.

 P- Considera esta avaliação uma fraude? 

 R- Sim, tudo o indica. Numerosas instituições consideram-se defraudadas. Uma avaliação em que o resultado não depende exclusivamente do mérito dos avaliados, mas em que há classificações manipuladas para encaixarem em quotas pré-definidas e escondidas dos avaliados não pode ser considerada honesta. Houve manipulação feita por não-especialistas, isto é, não se pode falar de uma verdadeira avaliação por pares. A FCT primeiro sonegou os documentos. Depois, com os documentos à vista, insiste em negar o óbvio. Ela não pode desmentir o que está escrito no contrato que assinou. 

 P- Este processo descredibiliza Portugal a nível internacional? 

 R- Sem dúvida. Logo, pela opção algo provinciana de chamar uma entidade estrangeira para conduzir todo o processo de avaliação sem permitir qualquer representação da comunidade científica nacional. E ainda por cima, uma entidade sem experiência específica para o fazer. Que país desenvolvido faria isso? A Espanha não o fez, a França não o fez e a Alemanha também não. Parece que só há um caso aparentado - o da Bulgária - mas mesmo esse caso não foi tão mau como aqui. É um certificado de menoridade que a FCT passou à ciência em Portugal e, já agora, a ela própria. Uma coisa é evitar a endogamia, outra coisa é dar a avaliação a alguém que não conhece o país nem o vem visitar. Por outro lado, a imposição de quotas nas classificações é uma atitude anti-científica. A intenção de fechar metade das unidades de investigação em Portugal, por um processo não directo mas viciado, dá a imagem de um país que assume ser subalterno e que desistiu de ascender, pelos seus meios e pelos seus méritos, ao pelotão da frente. Recebi chamadas do Instituto de Física britânico e da Sociedade Americana de Física e verifiquei que eles dificilmente percebiam o que aqui se está a passar.

 P- Miguel Seabra, Leonor Parreira e Nuno Crato deveriam demitir-se perante os factos entretanto conhecidos sobre a avaliação?

 R- Conheço bem Nuno Crato, a quem noutro tempo apoiei (toda a gente já percebeu que ele mudou), e já lhe disse o que tinha a dizer. Agora ele fará o que entende fazer e nós julgá-lo-emos por isso. Tenho pena que tenha deixado as coisas escorregar até este ponto, mas pode ser que ainda tenha a lucidez necessária para perceber o mal que está a fazer ao país. Ficará de um lado ou de outro no juízo da história conforme as decisões que tomar. Se ele ainda vier a escolher o lado certo, aplaudi-lo-ei. O importante é que haja uma inversão deste caminho de prejuízo para a ciência em Portugal e que se retome a via de aproximação à Europa, que foi seguido nas últimas duas décadas, com resultados positivos inegáveis. Foi um caminho feito, com muito esforço de muita gente, com os investigadores e não contra eles. Quando tento perceber o que se passa, concluo que o governo de Pedro Passos Coelho tem uma má relação com a ciência. Quando este governo cessar, respirar-se-á uma nova esperança em Portugal, não só na ciência como noutras áreas da nossa vida colectiva.

Os erros de uma avaliação

Artigo de opinião publicado na última edição do Expresso, em que vários investigadores contestam os resultados da avaliação do CIC.Digital, feita por um painel sem qualquer especialista da área:

Criado na área da comunicação, e no contexto da candidatura a financiamento 2015-20 da FCT - o CIC.Digital reúne investigadores integrados de pólos de quatro Universidades (Porto, Aveiro, Nova e Lusófona). Reúne os dois mais antigos centros das ciências da comunicação em Portugal (CECL e CIMJ), fundadores da área no País, a que se juntaram os dois mais novos da área com maior potencial inovador (CETAC.Media e CICANT).

Foi, nesta avaliação da ESF/FCT, avaliado por peritos da área no patamar Muito Bom/Excelente’ (17,3/20), tendo passado, semanas depois, a "Razoável" (12/20).

O CIC.Digital possui 117 investigadores e integra o maior e mais qualificado número de doutorandos da área. Único centro de investigação no país que corresponde ao perfil definido pelo  Conselho Científico da FCT, integrando as Ciências da Comunicação e Informação (CCI), foi impropriamente avaliado por um painel de Humanidades, sem qualquer especialista da área de CCI.

No período 2008-2012, em avaliação neste concurso,  a unidade teve 69 teses de doutoramento defendidas;  325 artigos em revistas com "peer-review"; 179 livros; 625 capítulos de livros; 14 modelos; 2 patentes; 44 protótipos; 19 contratos de investigação com a indústria; 47 contratos de investigação competitivos com entidades nacionais e internacionais; 1557 outros "outputs" de investigação e esteve envolvido em 6 programas de doutoramento em Comunicação a nível nacional (um deles em parceria com a UTAustin, a UNL e a UPorto, em Digital Media).
Uma das coordenadoras do CIC.Digital preside actualmente à principal associação europeia da área (ECREA - European Communication Research and Education Association).
O CIC.Digital publica regularmente 6 revistas científicas. Desde 1984, conta mais de um milhar de artigos científicos na área, com a contribuição de muitos dos melhores especialistas portugueses e estrangeiros.

Face a isto, o avaliador final considerou a unidade "prematura", etiquetou-a com "fair" e assinou  a sua morte: não deve ser financiada… 

Denegriu a sua forte estratégia no campo da Lusofonia, como sabemos, central para a nossa economia, tecnologia, ciência, língua e cultura do país. E menorizou tudo o que a unidade conquistou  até aqui no âmbito europeu e luso-americano (projetos competitivos UE/FP7, formação avançada e percentagem significativa de publicações em inglês).

Não quis perceber que o CIC.Digital está integrado na plataforma de disseminação do conhecimento científico ROSSIO (gerida pela FCSH/NOVA) consolidada como referência nacional, futura antena da plataforma europeia DARIAH-EU. E ignorou o seu enquadramento no eixo estratégico de investigação da Agenda Digital da UE.

Esta foi uma avaliação enviesada, com erros grosseiros, que introduziu uma alteração radical de valoração no decurso de um mesmo processo e em função da mesmíssima proposta, com avaliadores da mesma entidade avaliadora - o que veio afetar a credibilidade da instância de avaliação. 

O projecto do CIC.Digital  está alicerçado em investigação de várias décadas, realizada no âmbito das melhores universidades do país, responde à exigência de visão estratégica e inovadora suscitada por este concurso e dá verdadeira sustentabilidade à área científica das CCI. 
Os signatários esperam que a FCT reavalie então de modo justo e transparente o que tem que ser reavaliado, admitindo os erros flagrantes e graves aqui cometidos.

Cláudia Álvares (ULHT); Estrela Serrano (CIMJ); F. Rui Cádima (FCSH/NOVA); Fernanda Ribeiro (FL/UPorto); Isabel Ferin (CIMJ); José Bragança de Miranda (FCSH/NOVA); Lídia Oliveira (UAveiro); Manuel José Damásio (ULHT); Teresa Cruz (FCSH/NOVA)

sábado, 26 de Julho de 2014

Comunicado do Conselho de Laboratórios Associados


Comunicado do CLA relativo ao processo de avaliação em curso pela FCT das Unidades de Investigação

Desde há mais de duas décadas que centros de investigação portugueses são avaliados por especialistas de centros de investigação estrangeiros, organizados em painéis especializados. Essa prática generalizou-se a todos os centros de investigação há cerca de 15 anos.

Os nomes e currículos dos avaliadores são públicos e anunciados com a antecedência devida para que seja possível corrigir erros, acrescentar competências, evitar conflitos de interesse ou monolitismo de opinião.
O sistema de avaliação científica em vigor em Portugal foi progressivamente melhorado e tornou-se um dos principais factores de credibilidade externa do desenvolvimento científico português e de confiança dos cientistas em Portugal nas suas instituições. Vários responsáveis e diversas maiorias políticas ajudaram a consolidá-lo.
A avaliação tornou-se assim a base para o financiamento regular das instituições científicas, designadamente dos centros de investigação das Universidades.

O sistema de apoio institucional em vigor até agora permitia assim equilibrar uma concentração de recursos em programas estratégicos nas melhores instituições, com uma distribuição de recursos suficientes para o funcionamento de todas as instituições de qualidade reconhecida.

Assim, e até agora, todas as instituições científicas classificadas como boas, muito boas ou excelentes dispunham de recursos plurianuais de base estáveis, indexados à sua dimensão (no essencial ao número de investigadores doutorados).

Contra o parecer das Universidades e do próprio CLA, este sistema com provas dadas foi substituído por um contrato de prestação de serviços entre a FCT e uma entidade externa que só esta semana foi, finalmente, conhecido.

As primeiras consequências das alterações ao sistema de avaliação têm suscitado perplexidade ou revolta em muitas instituições científicas portuguesas, e tomadas de posição críticas do CRUP, de coordenadores de Conselhos Científicos da FCT e de outras entidades.

As principais rupturas introduzidas foram três:

a) Subverter a relação entre avaliação e financiamento de base dos centros de investigação.

Pelas novas regras, uma instituição que tenha sido julgada “apenas” boa passará a receber um financiamento de base residual (que pode atingir um décimo do que antes tinha). Ou seja, será, na prática, extinta. Este propósito, mantido escondido enquanto possível, ignorou a crítica generalizada dos cientistas e das Universidades.
Pode um sistema científico funcionar sem um grande número de centros de investigação reconhecidamente de boa qualidade, embora não excepcionais? Não pode, em parte alguma do mundo. É essa mesma a definição de excepcionalidade. Mais: pode um País permitir que, de acordo com esta lógica, áreas científicas inteiras possam desaparecer em Portugal, porque as suas instituições são apenas boas (mas não excepcionais)? Claro que não.
Assim, a irresponsabilidade política desta ruptura, a concretizar-se, terá por consequência amesquinhar o País e privá-lo de competências que laboriosamente conseguiu criar.

b) Destruir um modelo de painéis de avaliação baseado na competência especializada dos seus membros.

Onde até agora eram constituídos painéis internacionais de avaliação specializados de alto nível (cerca de 25, de forma a que cada painel reunisse especialistas capazes de se pronunciarem em profundidade sobre o trabalho científico das instituições portuguesas) hoje pede-se a seis (6) painéis estruturados por grandes áreas que avaliem as nossas instituições especializadas.


Em muitos casos, do painel não consta um único especialista da área da instituição a avaliar. Há casos em que o único especialista presente não teria sequer currículo para ser contratado pela instituição que vai avaliar.

c) Minar a confiança na avaliação

No sistema até agora em vigor, os avaliadores, além de estudarem a documentação escrita que lhes era facultada pelos avaliados, visitavam todas as instituições a avaliar de forma a poderem conhecê-las e esclarecer as suas informações em contacto directo com os avaliados. Deixa de ser assim: doravante, passam a ser visitados apenas os centros que, no papel, tiverem sido avaliados como melhores que “bons” embora mesmo estes possam vir nesta 2a fase a ser avaliados com classificação de bom ou inferior.

A avaliação prévia, apenas de papel, passa assim a eliminatória, com base em pareceres de peritos anónimos e da decisão final de um painel generalista.

EM CONCLUSÃO,

O CLA entende que devem ser urgentemente corrigidas as anomalias gritantes do processo de avaliação da investigação científica em Portugal actualmente em execução. Designadamente: todas as unidades de investigação devem ser objecto de visitas de avaliação; essas visitas devem ser conduzidas por painéis especializados, ao contrário do previsto; a duração da visita deverá ter em conta a dimensão da unidade; e deve ser garantida continuidade de financiamento base às instituições avaliadas, pelo menos, como Boas.
O CLA alerta todos os responsáveis políticos para o desperdício de recursos e de energias, e para a confiança difícil de recuperar, que constitui a tentativa de imposição à Ciência de um processo de avaliação rejeitado por parte significativa da comunidade científica e portanto sem futuro estável, e apela, mais uma vez para o diálogo construtivo que sempre preconizou.

O CLA unirá esforços com todas as outras instituições científicas e académicas, designadamente com as Universidades e os seus centros de investigação, para ver salvaguardados o rigor, competência e transparência da avaliação científica em Portugal.

O CLA chama a atenção para a reduzida prioridade à ciência, visível, entre outros indicadores, na redução drástica de financiamento plurianual para as unidades de investigação verificada desde 2011 (40% de redução), agravando a emigração forçada de cientistas e reduzindo capacidades científicas nacionais.

O CLA alerta o País para a gravidade da situação actual da ciência em Portugal e para as consequências que teria um continuado retrocesso neste domínio, crítico para o futuro do País. À emigração forçada de cientistas junta-se agora a instabilidade das instituições e a ruptura do consenso entre cientistas e responsáveis políticos. Pela primeira vez desde a entrada de Portugal na CEE, as instituições científicas e de ensino superior não foram sequer chamadas a pronunciar-se sobre as propostas do governo sobre o destino dos fundos estruturais comunitários nas suas áreas.
CLA 25.07.2014 

Como o Presidente da FCT resolve acientificamente os seus problemas (ou os erros do Prof. Miguel Seabra)


Comentário recebido da investigadora Maria Antónia Turkman em resposta à posição de Miguel Seabra, Presidente da FCT, que foi divulgada pelo Público:

No jornal Público de hoje  podem ler-se  afirmações que o Presidente da FCT terá feito à agência Lusa:

 “O que está inscrito no contrato refere-se a custos e, para calcular custos, tem de se fazer estimativas e as estimativas foram baseadas no último exercício de avaliação, de 2007, onde, de facto, cerca de 50% das unidades que concorreram à avaliação tiveram a classificação de Bom ou menos”. 

Acontece que qualquer investigador sabe que as estimativas só podem ser usadas em modelos a aplicar a situações idênticas. E é de esperar que tenha havido uma evolução positiva das unidades de investigação no sentido em que melhoraram os seus outputs científicos para poderem obter classificações mais elevadas na nova avaliação. Com certeza que parte dessas unidades que tiveram classificação baixa (refiro-me a inferior a Bom) na avaliação de 2007 nem chegaram a concorrer, ou, se concorreram, fizeram-no  juntando-se a outras mais bem  posicionadas. 

A avaliação de 2007 pode ter tido defeitos, nenhuma estará isenta deles, mas, se cerca de 50% tiveram classificação inferior a Muito Bom, foi após ter havido uma visita às unidades e não antes como aconteceu agora. Essa percentagem de 50% surgiu como consequência final de uma avaliação e não antes, como agora. As unidades que se apresentaram a concurso agora e as condições a que se apresentaram não são pois as mesmas de 2007. 

O senhor Presidente admitiu que, à partida, 50% não teriam a classificação superior a Bom e não esperou pelos dados pata ver se essa hipótese estava certa ou não. Antes usou a sua informação   sem dados que a abonassem transformou-a em informação a posteriori. Seguindo o raciocínio do Presidente da FCT, na próxima avaliação, 50% das unidades que concorrerem devem ir para a rua, ou seja, ficamos novamente com metade do que há hoje. E assim sucessivamente. Não acredito que nenhuma unidade que agora tem Bom e que recebe apenas o financiamento base possa sobreviver e evoluir, pois esse financiamento é tão ridículo que o melhor será as unidades não o aceitarem sequer. 

Mas, voltando ao raciocínio defeituoso do Presidente da FCT para avaliar custos. Não seria mais lógico as unidades serem avaliadas por mérito absoluto, sendo a classificação dada de acordo com os critérios definidos no guião de avaliação e as verbas existentes distribuídas de acordo com a classificação obtida? Mas não: O senhor Presidente mudou as regras a meio do jogo e às escondidas. Agora vem dizer, para se defender, que “para calcular custos, tem de se fazer estimativas” esquecendo a afirmação que fez, na reunião que teve lugar no Pavilhão do Conhecimento, no dia em que os resultados foram conhecidos, de que o resultado desta avaliação não tinha sidocondicionado às verbas existentes. 

E o senhor Presidente da FCT tem o atrevimento de dizer que o Senhor Reitor da Universidade de Lisboa, Professor António Cruz Serra, cometeu “erros factuais graves” nas afirmações que fez? Mas que erros factuais? Quem é que, afinal, está aqui errado?

Maria Antónia Turkman


Avaliação dos centros de investigação na AR, posição do CLA e de Maria de Sousa

Excertos de uma notícia do PÚBLICO:

(...)

A bola de neve de contestação contra a avaliação dos centros de investigação conduzida pela Fundação para a Ciência e a Tecnologia (FCT) chegou finalmente ao plenário da Assembleia da República (AR). Um mês após Miguel Seabra, presidente da FCT, ter anunciado os resultados da primeira fase de avaliação, os deputados votaram nesta sexta-feira uma proposta de protesto lançada pelo PS contra os cortes de financiamento que os centros terão na sequência desse processo. A proposta acabou rejeitada pelos deputados da maioria PSD-CDS.

“O investimento em ciência tem de ser uma ideia partilhada por todos para a defesa dos interesses nacionais”, lê-se na proposta de protesto. Nela, o PS defende que o “cenário calamitoso” da ciência portuguesa, devido ao corte nas bolsas de doutoramento e pós-doutoramento atribuídas pela FCT em Janeiro — que deu lugar a um grande protesto no início do ano —, “é agora reforçado com a publicitação dos resultados da primeira fase de avaliação das Unidades de Investigação”.

(...)

Ainda na quinta-feira, a avaliação dos centros foi analisada pelo Conselho dos Laboratórios Associados (CLA), uma rede de 26 institutos e cujo secretário é o cientista Alexandre Quintanilha. As “anomalias gritantes” da avaliação devem ser “urgentemente corrigidas”, defende o CLA em comunicado divulgado nesta sexta-feira. “Todas as unidades de investigação devem ser objecto de visitas de avaliação, essas visitas devem ser conduzidas por painéis especializados, e deve ser garantida a continuidade de financiamento-base às instituições avaliadas pelo menos com Bom”, lê-se, acrescentando-se que, nas novas regras, uma unidade com Bom “será na prática extinta”.

O CLA considera a política de “ruptura” do Governo uma “irresponsabilidade política”: “Pode um sistema científico funcionar sem um grande número de centros de investigação de boa qualidade, embora não excepcionais? Não pode, em parte alguma do mundo.”

Ouvida pelo PÚBLICO, a imunologista Maria de Sousa, professora emérita da Universidade do Porto, não defende a impugnação do processo de avaliação, ainda que ela “possa vir a ser juridicamente inevitável”: “Ainda há algum espaço na audiência prévia [período em curso de reclamação dos resultados] para se perceber bem o que se não fez e se poderia ter feito. Isso é talvez tão importante e mais exemplar do que impugnar”, diz. “A audiência prévia dá-nos a todos o espaço para provarmos que passámos a ser um país que se deve fazer respeitar internacionalmente pela maturidade da sua qualidade científica.”

Miguel Seabra — que Maria de Sousa considera ter tido até aqui uma “convicção cega, sem dúvidas e de que está certo” e uma “insensibilidade” em relação à comunidade científica que deveria representar — ainda está a tempo de voltar atrás. Por que não, em vez de impugnar, dar ao presidente da FCT, também um cientista, a oportunidade de corrigir a avaliação, refere a conhecida imunologista. “Um cientista deverá ser o primeiro a dar o exemplo de reconhecer erros que possa ter cometido, mesmo com a melhor das intenções, e procurar corrigi-los sabendo as limitações do que pode fazer.”

Texto completo aqui:

Processo de avaliação da ciência é "enormíssimo erro de política pública" - Reitor Lisboa

Um despacho da agência Lusa, transcrito do sítio do Porto Canal:

Lisboa, 25 jul (Lusa) -- O reitor da Universidade de Lisboa considerou o processo de avaliação das unidades de investigação "um enormíssimo erro da política pública", que está "enviesado desde o início" apelando ao Governo para que se "preocupe seriamente" com as "consequências desastrosas".

Em entrevista à Lusa, a propósito do primeiro ano de vida da nova Universidade de Lisboa, após a fusão da Clássica com a Técnica, António Cruz Serra diz que ficou claro desde o fim-de-semana passado que o processo de avaliação a cargo da Fundação para a Ciência e Tecnologia (FCT) -- que é também a instituição que atribui o financiamento público destas instituições científicas -- definia à partida que apenas metade das instituições obteria classificação suficientemente alta para passar à 2.ª fase da avaliação.

Ficar pela 1.ª fase significa não receber qualquer financiamento público ou, caso a avaliação dos centros de investigação seja de 'Bom', receber um financiamento no patamar mínimo, que varia entre os cinco mil e os 40 mil euros.

"Toda a informação que entretanto se foi reunindo leva-nos a concluir que aquilo que aconteceu com o processo de avaliação das unidades de investigação é um enormíssimo erro de política pública, é um processo que foi mal montado, uma avaliação que foi feita de forma amadora, por gente pouco qualificada, em muitos casos, para realizar a avaliação e que o processo estava enviesado desde o momento inicial. O erro político fundamental é que tal como o processo foi lançado nós vamos liquidar metade do sistema científico por via administrativa", declarou o reitor.

Cruz Serra disse que a avaliação foi entregue a entidades estrangeiras que desconhecem por completo a ciência em Portugal, e que os painéis de avaliação criados têm avaliadores sem "capacidade científica para avaliar as unidades na sua área científica", são de qualidade "altamente questionável" e que "não conseguem ganhar em Portugal, nas nossas melhores faculdades, um concurso de professor auxiliar".

O reitor declarou que "neste momento já se percebe como foi feita a avaliação", explicando que as unidades foram previamente avaliadas por especialistas da área científica em que se enquadram com notas bastante altas (iguais ou superiores a 17 numa escala que vai até 20), sendo depois avaliadas pelo avaliador do painel, que "normalmente não é da área, [percebendo-se] até pelo conjunto de disparates que estão escritos nessas avaliações, e que dá uma nota muito baixa".

"Aquilo que foi a avaliação final foi a avaliação desse avaliador. Porquê? Porque é ele que está no painel, ele é que foi encarregue de elaborar o relatório final", disse, acrescentando que a consequência foi a exclusão da próxima fase da avaliação de centros de "qualidade inquestionável" em todo o país, considerando que "tudo isto que está a acontecer é lamentável".

"Era como se o professor Nuno Crato tivesse pedido a um professor de Biologia para ir corrigir os exames nacionais de Matemática. Aquilo que aconteceu é algo que precisa de ser infletido, é um processo para o qual eu chamo a atenção do nosso ministro, do senhor primeiro-ministro, porque tem consequências políticas e consequências para o país desastrosas", disse.

António Cruz Serra entende que na fase em que o processo está ou a FCT assume que cometeu um erro, e que é preciso começar tudo de novo, ou não resta alternativa senão "repescar para a 2.ª fase da avaliação" centros excluídos e que não o deveriam ter sido, indo ao encontro da proposta entregue pelo conselho de reitores ao Governo, que defende que não se deve negar financiamento suplementar a unidades de investigação que já foram anteriormente avaliadas com notas muito altas ou a nota máxima.

"Acontece que muitas dessas unidades são unidades onde se faz um trabalho excelente, onde temos um investimento do país de duas dezenas de anos ou mais com equipamento e capacidade instalada de dezenas de milhares de euros e que de repente vai ser deitado fora e isto é algo absolutamente incompreensível", declarou Cruz Serra.

"Tenho a certeza absoluta que se a avaliação terminasse agora, nestas condições, haveria unidades de investigação de grande dimensão e de grande relevância que acabavam no dia a seguir", acrescentou.

Sobre a Universidade de Lisboa, o reitor garantiu que a instituição "não tem qualquer capacidade, com a dotação do Orçamento do Estado que recebe, de substituir o financiamento da FCT".

"Isso está completamente fora de questão. Estamos a trabalhar no limite do que é possível", declarou.

Das 322 unidades avaliadas, 163 (52%) passaram à segunda fase e outras 26% obtiveram a classificação de Bom, tendo assegurado um financiamento base, avançou a Fundação para a Ciência e Tecnologia.

sexta-feira, 25 de Julho de 2014

VOTO DE PROTESTO CONTRA OS CORTES NA CIÊNCIA CHUMBADO PELA MAIORIA PSD/CDS

O grupo parlamentar do Partido Socialista apresentou um voto de condenação à recente avaliação das Unidades de Investigação. Este voto foi rejeitado com os votos contra do PSD e do CDS/PP e a favor do PS, PCP, BE e Verdes:


Voto de Protesto 

Estão a ser impostos novos cortes no financiamento público na Ciência, desta vez, nas Unidades de Investigação.

O desinvestimento do XIX Governo no setor da Ciência tem merecido constantes críticas e manifestações de desagrado por parte da comunidade científica, decorrentes dos cortes cegos em bolsas e unidades de investigação, e de processos concursais pouco transparentes que têm levado a uma desacreditação progressiva daquela que em tempos foi uma instituição na qual os cientistas confiavam – Fundação para a Ciência e Tecnologia (FCT). 

No final do ano passado registaram-se cortes drásticos nas bolsas de doutoramento (-40%) e de pós-doutoramento (-65%), condenando deste modo toda uma geração de investigadores e procedendo a uma “destruição criativa” da Ciência, como assim a apelidou o conceituado investigador Manuel Sobrinho Simões. 

Este cenário calamitoso é agora reforçado com a publicitação dos resultados referentes à primeira fase de avaliação das Unidades de Investigação, cujo número de cientistas “sentenciados à morte”, como assim os designou o Investigador Carlos Fiolhais, é de 5.187 num total de 15.444 investigadores. 

Com efeito, a avaliação das unidades de investigação científica e de desenvolvimento tecnológico promovida pela FCT conjuntamente com uma organização internacional (European Science Foundation), cuja credibilidade está a ser muito questionada por parte da comunidade científica, desenvolve-se em duas fases distintas: uma 1ª fase eliminatória já concluída e que excluíu de qualquer financiamento 71 Unidades de Investigação, às quais se encontram associados 1.904 membros, e uma 2ª fase à qual poderão apenas concorrer as já selecionadas 168 Unidades de Investigação.

Assim, das 322 Unidades de Investigação, cerca de metade (154) poderão deixar de ter qualquer tipo de financiamento a curto prazo. 
Esta falta de financiamento direto às Unidades de Investigação, acrescida dos cortes orçamentais que nos últimos anos têm sido uma constante no Sistema Científico e Tecnológico Nacional, impossibilitam a continuidade de muitas instituições e põe em causa projetos cujo retorno económico para o país é por demais evidente. 

A falta de apoio a investigadores com provas dadas em diversos setores estratégicos como a Matemática, a Física, a Engenharia, a Sociologia, entre outras, muitos deles galardoados com distinções nacionais e internacionais, deve ser vivamente rejeitada, uma vez que constitui um convite à emigração, caso queiram continuam a trabalhar na área para a qual foram qualificados – Investigação. 

O investimento em Ciência tem de ser uma ideia partilhada por todos para a defesa dos interesses nacionais.

Neste sentido, a Assembleia da República exprime a sua posição contrária aos cortes em curso nas Unidades de Investigação, considerando-os assentes numa ótica economicista, que não salvaguarda o investimento feito e a sustentabilidade da produção científica nacional. 


Assembleia da República, 10 de julho de 2014 


DE ENCONTRO AO COMETA

Artigo primeiramente publicado na imprensa regional.



Há cerca de dez anos, mais precisamente a 2 de Março de 2004, um foguetão Ariane-5 lançou no espaço a sonda europeia Roseta. O objetivo científico desta missão é o de estudar em detalhe o cometa 67P/Churyumov-Gerasimenko e contribuir para o nosso conhecimento da formação do sistema solar.

O cometa 67P/Churyumov-Gerasimenko foi descoberto em 1969 quando Klim Churyumov examinava fotos de regiões do espaço feitas Svetlana Gerasimenko. Precebe-se assim o nome deste astro. Depois disso este cometa foi confirmado e observado várias vezes por astrónomos aquando da sua aproximação à Terra e ao Sol. Sabe-se que tem actualmente um período orbital de 6,45 anos.

Depois de uma década de peregrinação espacial de aproximação a um momento da órbita do cometa em torno do Sol, a sonda Roseta encontra-se agora a menos de cinco mil quilómetros do cometa. Esta aproximação já permitiu que a sonda conseguisse fotografar o perfil do cometa. Há poucos dias, a Agência Europeia Espacial (ESA, sigla em inglês) divulgou imagens cada vez mais detalhadas do cometa 67P/Churyumov-Gerasimenko, como aquela que em cima se publica.

As imagens captadas mostram um cometa com uma forma irregular e há quem diga que faz lembrar um pato de borracha. De facto a foto mostra um pedaço mais alongado que faz lembrar uma cabeça sobre um outro pedaço maior e arredondado que seria o corpo.

O reconhecimento da forma intrigante do cometa é importante para os cientistas que comandam a missão. Recorde-se que a sonda Roseta transporta consigo um pequeno módulo, o File (com 100 quilos), que será largado em Novembro deste ano para poisar sobre a superfície do cometa. “Teremos de fazer uma análise e uma modelação do formato do cometa, para determinar a melhor forma de voarmos à volta de um corpo com uma forma tão única, tendo em conta o controlo do voo e a astrodinâmica, as necessidades científicas da missão e os elementos relacionados com a aterragem, como a análise do local e a visibilidade entre o módulo de aterragem e a sonda”, explicou num comunicado da ESA Fred Jansen, o chefe da missão da Roseta (publicado no jornal o Público).

Esta missão espacial está rodeada de muita espectativa, uma vez que será a primeira vez que será colocado equipamento científico na superfície de um cometa para o estudar. Os cometas possuem poeiras cósmicas e estão recobertos com gelo primordial. São relíquias representativas da constituição do nosso sistema solar, testemunhos congelados da sua formação.

Assim, a análise do cometa 67P/Churyumov-Gerasimenko poderá fornecer pistas sobre a composição inicial do sistema solar e informações sobre a formação dos planetas, como a Terra. Refira-se que os cientistas têm indicações que muita da água e alguns compostos orgânicos que originaram a vida na Terra poderão ter vindo de cometas semelhantes a este, que agora se estuda, e que bombardearam o nosso planeta no início da sua formação. O seu estudo pode trazer novos dados que confrontarão essas hipóteses. Para além disto, esta é uma oportunidade única para se investigar a própria formação destes corpos errantes do nosso sistema solar.

Recorde-se que o nome desta sonda, Roseta, é uma referência à pedra com o mesmo nome que foi descoberta em 1799 e permitiu ao arqueólogo francês Jean-François Champollion decifrar os hieróglifos egípcios. Assim, o nome com que foi baptizada esta missão espacial representa o espírito científico de exploração e de decifração da informação que nos permitirá melhor reconstituir os momentos primordiais da formação do nosso lar cósmico e que levaram, por último, à evolução da nossa espécie, da inteligência que compreende e se maravilha com o Cosmos.


António Piedade

OS AVALIADORES EM 2007 E 2014: DESCUBRA AS DIFERENÇAS

Sylvia Tippmann, da equipa editorial do "The Conversation", partiu do artigo de Teresa Marques e construiu dois gráficos que mostram a diferença entre os painéis na avaliação das unidades em 2007 e na avaliação actualmente em curso.



Versão interactiva dos gráficos aqui.

Em 2014 o número de painéis é muito menor (cada painel avalia mais áreas), estes são constituídos por menos avaliadores e há uma enorme quantidade de avaliadores externos aos painéis (585). 

Cada uma das 322 unidades foi classificada por dois desses avaliadores externos, ou seja cada um dos avaliadores externos avaliou tipicamente uma ou duas candidaturas, não tendo as notas por si atribuídas qualquer comparabilidade. Há ainda uma terceira nota que é atribuída por um avaliador do painel. Mas estes poucos painéis são tão generalistas que não dominam todas as áreas que avaliam. No entanto, os avaliadores destes painéis que avaliam tudo e mais umas botas, foram decisivos na passagem ou não da unidade à segunda fase.

Resumindo: a avaliação das unidades em 2014 tem uma componente aleatória (notas dadas por avaliadores diferentes que não têm uma bitola comum nem visão de conjunto) e uma componente não especializada (painéis excessivamente abrangentes que avaliam mais áreas do que as que os seus membros dominam).

quinta-feira, 24 de Julho de 2014

COMUNICADO DA SOCIEDADE PORTUGUESA DE FILOSOFIA A PROPÓSITO DA AVALIAÇÃO DAS UNIDADES DE INVESTIGAÇÃO

Depois das sociedade de química e de física se terem pronunciado, a Sociedade Portuguesa de Filosofia torna também pública a sua posição acerca da avaliação das unidades de investigação:

Comunicado

A Sociedade Portuguesa de Filosofia (SPF) deseja exprimir publicamente a sua preocupação com o processo de avaliação dos centros de investigação nesta área por parte da Fundação para a Ciência e a Tecnologia (FCT). Apesar dos resultados muito positivos que a investigação filosófica tem conhecido em Portugal nos últimos anos (tendo em conta publicações, projectos e participação em redes internacionais), a conjugação entre a redução muito expressiva do número de bolsas de doutoramento e pós-doutoramento atribuídas, por um lado, e o previsível corte drástico do financiamento a vários centros no processo agora em curso, por outro lado, poderá ter efeitos altamente nocivos e colocar em causa o trabalho efectuado até aqui. Desta forma, a SPF junta a sua voz às tomadas de posição públicas por parte de sociedades científicas de outras áreas do conhecimento, pelos presidentes dos conselhos científicos da própria FCT e pelo Conselho de Reitores das Universidades Portuguesas.

Lisboa, 23 de Julho de 2014

REITOR DA UNIVERSIDADE DE LISBOA ARRASA A AVALIAÇÃO DA FCT


Declarações à Rádio Renascença de António Cruz Serra, Reitor da Universidade de Lisboa, de longe a maior Universidade portuguesa: 

://rr.sapo.pt/informacao_detalhe.aspx?fid=31&did=156742

Transcrevo, com a devida vénia :

O reitor da Universidade de Lisboa diz que o processo de avaliação das unidades de investigação, levado a cabo pela Fundação para a Ciência e a Tecnologia (FCT), "é lamentável" e vai resultar na "liquidação de uma parte do nosso sistema científico".

António Cruz Serra decidiu quebrar, em declarações à Renascença, o silêncio que mantinha sobre o assunto, por "não aguentar" ter lido determinadas declarações do presidente da FCT.

"Não aguentei ver escrito, numa entrevista ao presidente da FCT, que havia uma maioria silenciosa que apoiava o resultado da avaliação. Eu fazia parte dessa maioria silenciosa, mas não apoio, de maneira nenhuma, o processo que foi conduzido de forma pouco profissional, pouco eficiente e baseada numa política inaceitável", desabafa o reitor.

Para Cruz Serra, este processo vai "virar o sistema de pernas para o ar", caindo, assim, o país, "mais uma vez", em algo que "tem constituído uma das bases do nosso insucesso", porque "desta política não ficará nada, quando mudar o Governo e a direcção da FCT".

Classificando o processo de "lamentável" em três frente - na "política definida", na "aplicação da avaliação" e na "seriedade da avaliação - o reitor da Universidade de Lisboa sublinha que, "tendo sido especificado no contrato com a agência de avaliação que metade das unidades não passava à segunda fase", seria preciso "seriar as unidades", algo que não se verificou, uma vez que cada avaliador "avaliou uma ou duas unidades".

Nestas declarações à Renascença, António Cruz Serra acusa ainda que a maioria dos avaliadores não é "especialista da área da avaliação".

O reitor da Universidade de Lisboa apela ao primeiro-ministro para que coloque um fim a este processo de avaliação: "Apelo a que o nosso Governo e, nomeadamente, o primeiro-ministro consiga perceber que o resultado desta operação será a liquidação de uma parte do nosso sistema científico".

IMPUGNAÇÃO DA "AVALIAÇÃO" DA FCT

Ler Notícia de hoje no jornal "Público": aqui.

Destaco a parte final: O físico Carlos Fiolhais, da Universidade de Coimbra, defende que se cancele avaliação e se inicie outra nova, agora que se sabe da quota dos 50% de aprovações determinada no contrato, que só foi divulgado após alguns pedidos, incluindo a solicitação formal do jornalista e professor de jornalismo António Granado, ao abrigo da Lei de Acesso aos Documentos Administrativos.

“A comunidade científica tem de confiar no sistema de avaliação. Não poderá aceitar avaliações que são uma farsa e que distorcem a realidade da ciência em Portugal”, diz Carlos Fiolhais.

 É esta avaliação uma fraude? “Sim, tudo o indica”, responde o físico. “Numerosas instituições consideram-se defraudadas. Uma avaliação em que o resultado não depende exclusivamente do mérito dos avaliados, mas em que há classificações manipuladas para encaixarem em quotas pré-definidas e escondidas dos avaliados não pode ser considerada honesta.”

 Por tudo isto, Carlos Fiolhais considera muito difícil endireitar algo que já nasceu torto. “O mais sério é preparar outro processo de avaliação. Este foi barato [custou cerca de 400 mil euros, enquanto o de 2007 foi 1,6 milhões] e rápido. Não se perdeu muito nem do ponto de vista financeiro nem do ponto de vista temporal”. O mesmo diz Constança Providência, do Centro de Física Computacional de Coimbra: “É preferível recomeçar o processo e assegurar uma avaliação digna desse nome. Tomaremos todas as medidas legais ao nosso alcance para impedir que se concretize uma decisão mal pensada e mal tomada”, diz.

 “Claro que é ainda possível corrigir a trajectória, mas acho isso muito difícil de acontecer”, defende ainda o físico Nuno Peres, do Centro de Física da Universidade do Minho. “Tal significaria que a FCT teria que reconhecer que o processo começou enviesado à partida. Não creio que tal venha a ser feito. Assim levanta-se a questão da impugnação do processo”, considera.

Por todos estes motivos, Carlos Fiolhais critica a proposta que o Conselho de Reitores das Universidades Portuguesas (CRUP) começou por avançar na segunda-feira, para que fossem repescadas para a segunda fase da avaliação os centros que tiveram Excelente ou Muito Bom na avaliação de 2007. Até porque muitas unidades que existiam antes já não existem, porque se fundiram seguindo o apelo à formação de massa crítica feito pela FCT. “Além de não ser ético aceitar uma avaliação sem pés nem cabeça, seria uma falta de bom senso fazer correcções desse tipo. Então iríamos ter unidades repescadas pelas mesmas pessoas que, por imposição da FCT, as liquidaram há pouco tempo, com a agravante que agora tudo isso já é sabido?”

Uma irregularidade e um paradoxo


No seguimento de dois posts anteriores que desmontam o processo de "avaliação" da FCT eis outro post recebido de um investigador português no estrangeiro, devidamente identificado. O que ele afirma, fácil de comprovar, é mais uma contribuição para descredibilizar o processo  "avaliativo":

1. Conflitos de interesse

Os conflitos de interesse são um dos problemas que se colocam em todas as avaliações e são uma das razões pelas quais num país com a dimensão de Portugal esta deve ser levada a cabo por painéis compostos por cientistas residentes no estrangeiro. Diga-se em abono da verdade que os problemas maiores não costumam advir daí, uma vez que esses são fáceis de identificar, mas sim do facto de haver enviesamentos e preconceitos, relativos à nossa sub-área e às dos outros, de que todos sofremos, uns mais, outros menos, e que precisamente por serem tão naturais muitas vezes os próprios não se apercebem deles. Esta é uma das muitas razões pelas quais os painéis não podem ser em versão de saldo com três ou quatro investigadores por área como a que nos querem fazer engolir nesta avaliação.

Mas não deixa de ser uma questão que tem de ser acautelada e que assumimos que numa avaliação como esta não pode falhar, de tal forma se trata de um princípio básico. Como consequência, provavelmente muito poucas pessoas se lembraram de o verificar, incluindo a própria ESF.

A FCT descreve na secção 5 do Guião de Avaliação do exercício a decorrer o que entende por conflitos de interesse e como é que estes devem ser resolvidos. Mais precisamente, uma cooperação científica planeada ou a decorrer, por exemplo, poderá ser interpretada como um “disqualifying conflict of interest.” Embora não seja bem definido o que isto quer dizer, depreende-se da palavra “disqualifying” que será uma situação séria que tem ser resolvida e, em particular, os árbitros individuais deverão ser substituídos nesses casos. No caso de um membro do painel, o coordenador do painel deverá resolver a questão com o auxílio da equipa da FCT, embora não seja dito como.

Há várias questões que se levantam de imediato. Porquê uma menção a uma equipa da FCT que, supostamente, não tem nada a ver com esta parte da avaliação? Quais são os métodos utilizados para resolver um conflito de interesse? E o que é que sucede se se vier a descobrir, a posteriori, que de facto havia um conflito de interesse? Finalmente, como é resolvido um caso de conflito de interesse respeitante ao coordenador de um painel?

2. Uma experiência simples

Vem isto a propósito de uma experiência que qualquer pessoa com acesso a uma base de dados apropriada pode fazer e que consiste em verificar se os membros dos painéis satisfazem de facto as condições enunciadas – de notar que a ESF vai mais longe do que a FCT e indica explicitamente no já famoso contrato que fez com esta que todos os membros dos painéis satisfarão as condições da FCT no que diz respeito a conflitos de interesse.

Teríamos portanto de nos preparar mentalmente para estar a perder o nosso tempo caso decidíssemos estar à frente do computador a verificar a inexistência de conflitos de interesse dos membros dos diferentes painéis, até porque noutra cláusula a FCT insiste em que o que se passou há mais de três anos não é relevante.

No total verificamos que há cerca de dez (10) membros dos diferentes painéis que já publicaram com elementos das unidades a ser avaliadas, mas essas publicações encontram-se nalguns casos bastante distantes no tempo (1992!) e a FCT irá certamente argumentar que, mesmo quando há aquilo que classifica como conflitos potenciais (artigos conjuntos nos últimos três anos), eles não são significativos.

Antes de prosseguirmos, devemos afirmar que pensamos que o enviesamento mencionado acima  tem a ver com especificidades de área e que estas são detectáveis precisamente através de colaborações conjuntas, independentemente da altura em que foram feitas, uma vez que denotam um interesse comum. Num processo de candidaturas de uma agência europeia efectuado recentemente, declarámos um artigo em conjunto com um dos membros da equipa candidata publicado oito anos antes. A resposta da agência foi que, nessas condições, o painel preferia que não servíssemos como árbitro.

3. Um resultado surpreendente: a irregularidade

Teríamos pois, de facto, perdido tempo se não tivéssemos mentido acima quando escrevemos que não havia nada de especial a assinalar, para além de pequenas infracções às regras. Mas o resultado que se obtém é de tal forma bizarro que custa a acreditar. É um pouco como se andando à procura de uma espécie rara de insecto tivéssemos dado de caras com o yeti. E isto na Holanda. Quem quiser o ter o benefício de uma experiência destas, deverá parar de ler e ir fazer uma busca à sua base de dados favorita para detectar conflitos de interesse nos painéis – podemos garantir que sairão recompensados.

Isto porque, no caso do coordenador de um dos painéis, este tem, não uma, nem duas, nem o que seja imaginável pensar num caso destes, mas sim quarenta e duas (42!) publicações com autores portugueses, na sua grande maioria de uma mesma instituição. Trata-se do painel das ciências exactas e a experiência é reprodutível para quem a quiser fazer em casa (obviamente não verificámos as publicações uma a uma):

Search keys:
Author: Mason NJ
Address: Portugal AND (Open University OR UCL)
Years: 2002 to 2014 [a colaboração parece ter-se iniciado nesse ano]

Estas publicações correspondem a cerca de um quarto do total das publicações deste investigador no mesmo período, as quais podem ser vistas removendo a palavra 'Portugal' da busca acima.

Dado o pouco normal de uma situação destas, é evidente que convém verificar se não se trata de um erro com um homónimo ou qualquer coisa semelhante. Mais uma vez não verificámos todos os artigos um a um, mas uma busca na página do Professor Nigel Mason permite ficar as saber que é o autor de pelo menos alguns desses artigos e, para que não restem dúvidas, informa-nos também que faz parte do

ESF Review Committee of Portuguese Review of Physics Research Units.(Chair Exact Sciences panel) (Portuguese REF equivalent) 2014 –

Notamos que o comité é indicado apenas como sendo das unidades de física (embora do painel das ciências exactas), o que confirma aquilo que já sabíamos: as diferentes áreas científicas não se misturam e a junção de todas no mesmo saco é apenas para não ser tão óbvia a redução drástica no número de avaliadores de facto em cada uma delas – este ponto não foi escolhido para ser destacado pelo presidente da FCT na sua apresentação de dia 27 de junho em que explica as diferenças entre o processo actual e as avaliações anteriores.

Para sabemos como é que este conflito de interesse foi resolvido teremos de esperar pelo relatório final deste painel elaborado pelo seu coordenador. Relembramos também que a ESF garantiu no contrato que situações destas não ocorreriam.

4. O desfecho e o paradoxo

E a unidade a que pertencia a maioria dos colaboradores em todos estes artigos? É o nosso triste dever anunciar que, pelo menos por enquanto, não passou à segunda fase, ficando assim demonstrado que todo o barulho feito acima não passa de mais uma tentativa de denegrir esta avaliação, não tendo certamente o coordenador insistido, pelo menos durante a elaboração do relatório, que a equipa com quem trabalhou nos últimos 12 anos deveria passar à segunda fase. Terá certamente abandonado a sala (ou a mesa do seu computador) enquanto os outros dois ou três membros de física do painel elaboravam a sentença.

Mas não é esse o paradoxo, até porque não podíamos esperar outra coisa. Para encontrarmos o verdadeiro paradoxo, teremos de utilizar um pouco de bibliometria, pelo que quem é avesso a essas coisas não deverá continuar a ler.

Um dos princípios por detrás do facto de um cientista não dever atribuir uma classificação a outro no caso de terem algumas publicações em comum, tem simplesmente a ver com o óbvio de se estar, de algum modo, a classificar-se a ele próprio. Pode argumentar-se que, no caso de duas ou três publicações não será esse o caso mas, a partir de um número considerável começa a haver um percurso em comum. O que é o caso para este período, onde, como mencionamos atrás, 25% das publicações do coordenador do painel coincidem com as do centro que foi avaliado.

Obviamente que para termos uma ideia do impacto desta colaboração no curriculum do Professor Mason teríamos de fazer uma análise detalhada dos trabalhos, análise essa para a qual não somos competentes nem temos tempo. Mas, não tendo os meios necessários para fazer essa avaliação, podemos, inspirados pela  FCT, utilizar o método dos pobrezinhos. Ou seja, pedimos a dois avaliadores externos para fazer uns relatórios e depois elaboramos um relatório de consenso em que justificamos o nosso parecer.

Em relação aos relatórios externos, utilizaremos os relatórios que foram utilizados para impedir o centro em causa de passar à segunda fase. São certamente bons para isso, uma vez que chegaram para eliminar esse centro. Aliás, nem precisamos de os ver – basta saber que serviram para chumbar o centro e se isso é suficiente para a FCT, é suficiente para nós. Só nos falta provar a equivalência entre o centro e o Professor Mason.

Para isso, vejamos as restantes publicações do candidato durante este período recorrendo a um  estudo bibliométrico que podemos encomendar ou fazer em casa, com a finalidade de saber o que o Professor Mason foi capaz de realizar sem a colaboração do grupo que foi chumbado.

As tabelas apresentam dois grupos de resultados: Professor Mason sem o grupo português no período em causa, e Professor Mason com o grupo português no mesmo período.



Artigos de Mason NJ sem o grupo português, no período 2012-2014
Citações a esses artigos
Results found
119
Sum of the Times Cited
1134
Sum of Times Cited without self-citations
1036
Average Citations per Item
9.53
h-index
18




Artigos de Mason NJ com o grupo português, no período 2012-2014
Citações a esses artigos
Results found
42
Sum of the Times Cited
471
Sum of Times Cited without self-citations
409
Average Citations per Item
11.21
h-index
13

Dos índicadores acima, o valor mais significativo numa primeira análise é o que traduz o número de citações por artigo, uma vez que é o único que tem em conta a diferença do número de artigos em comparação. E neste caso o grupo português bate claramente o Professor Mason por mais de um ponto e meio em cerca de dez. Não temos pois, outra escolha, que não seja a de abater o candidato com base nos relatórios externos, na análise bibliométrica e no facto de este não assinar a revista Gazeta de Física [Anon1585]. Até porque uma comparação do indíce h também não pressagia nada de bom – utilizando a relação h = hm Nβ onde N indica o número de artigos, β o crescimento e hm um coeficiente de normalização, com a escolha standard de β=0.4 [Molinari e Molinari 2006] e recorrendo ao caso português para determinar hm, concluímos que o Professor Mason sem o grupo português, para poder almejar a ultrapassar a barreira da mediocridade e merecer financiamento na nova era que se aproxima, teria de ter um indíce h bastante superior a 19,7, o que não é o caso.

5. Conclusões

A pseudo-avaliação feita acima tem quase tantos erros como a da ESF, e os leitores interessados poderão listar esses erros desde que se abstenham de os colocar nos comentários ou de os enviar ao Carlos Fiolhais. Mais interessante será indicar as semelhanças. Por exemplo, tal como a avaliação do tandem ESF/FCT, não é para ser levada a sério. Excepto no que toca a dois pontos.

Em primeiro lugar, ao aceitar fazer parte do painel e ainda por cima na qualidade de coordenador, o Professor Mason está a colocar-se numa situação lose-lose, sendo o relatório do painel sobre o centro em causa o que o Google traduz como auto-destrutivo ou auto-derrotado mas que a expressão inglesa self-defeating ilustra melhor – ou seja, ao negar a relevância e a qualidade desta parte da investigação do centro, o painel está, até certo ponto, a fazer o mesmo em relação à investigação do seu coordenador.

O paradoxo pode então ser formulado da seguinte forma: poderá um painel implodir, ou seja, poderá um painel através de uma classificação que atribui a uma das unidades a avaliar, simultaneamente mostrar que não está apto a fazer essa avaliação? A resposta parece ser que sim. Mas, tal como em muitos paradoxos deste tipo, o problema está na auto-referência e não surgirá em avaliações feitas de acordo com os melhores padrões internacionais.

Em segundo lugar, tudo isto vem mais uma vez demonstrar a falta de rigor da ESF, que parece pensar que meter uma série de pessoas numa sala é o mesmo que proceder a uma avaliação, e para quem o controlo de qualidade se reduz a uma frase no contrato indicando que irá recolher os relatórios e verificar se estão de acordo com os critérios acordados – não é possível corrigir  a posteriori erros como os que aparecem nalguns dos relatórios [Anon1585, Anon90321, Anon91270, etc]; esse acompanhamento teria de ter sido feito durante o processo, ou pelo coordenador, ou por elementos da ESF destacados para esse fim.

Agradecimentos

O presente trabalho foi parcialmente financiado pelo projecto FCT/PINTJ5000/2014, pelo que, seguindo as regras que entraram em vigor em maio de 2014 relativas ao acesso aberto [Pereira e Seabra 2014], foi submetido a uma revista que satisfaz as exigências nesse capítulo e pelo qual seremos obrigados a pagar metade do dinheiro alocado ao centro para 2015. Esperamos ainda poder vir a publicar mais um artigo nesse ano, por forma a poder seguir as sugestões do painel relativas ao melhoramento do centro.

Bibliografia

Anon1585, Relatório sobre o CIES-IUL [“More to the point, one does not see whether the center subscribes to the relevant databases and journals, as well as purchases enough books to satisfy the demands of its researchers”] ESF/FCT 2014.

Anon90321, Relatório sobre o CEI-IUL [Atribuição de 20 valores, depois de elogiar uma conferência organizada pelo centro na qual participou] ESF/FCT 2014.

Anon91270, Relatório sobre o ISTAR-IUL [“This is an extremely difficult review to do, because the material submitted is so confused. I don't think that this is due to the unit being evaluated, but because of the layout of the form that they have had to fill in.”] ESF/FCT 2014.

Molinari, JF e Molinari, A, A new methodology for ranking scientific institutions. Scientometrics, Vol. 75, No. 1 (2008) 163–174.

Pereira, P e Seabra, MC, Acesso aberto a publicações científicas resultantes de projetos de I&D financiados pela FCT. Publicações FCT 2014.