Augusto Santos Silva comenta na TVI24 a avaliação da FCT

Ver http://www.tvi24.iol.pt/videos/video/14170858/1

A destruição da ciência vista por Constança Cunha Sá na TVI24

Ver aqui a partir do momento 10:26.

INICIATIVA NACIONAL PARA SUSPENSÃO DA AVALIAÇÃO DA FCT

Transcrevo mensagem do SNESup e carta ao Ministro da Educação e Ciência que está a circular na Comunidade Científica Nacional. Eu assino, claro, em face de todas irregularidades que já foram divulgadas.

Exmo. Senhor Coordenador de Unidade de I&D

Na sequência da reunião do SNESup com as Unidades de I&D Nacionais que não passaram à segunda fase do concurso de Avaliação das Unidades I&D promovido pela Fundação para a Ciência e Tecnologia (FCT) em 2013 do dia 14 de julho e da reunião entre o SNESup, SPGL e personalidades da Ciência Portuguesa, no dia 19 de julho, decidiu-se solicitar ao Senhor Ministro da Educação e Ciência, Professor Doutor Nuno Crato, a suspensão do processo de avaliação das Unidades de I&D.

Para o efeito estamos a difundir por todas as Unidades de I&D a carta em anexo, a qual irá ser entregue no dia 29 de julho ao Sr. Ministro, e se merecer a sua concordância solicitar que a mesma seja assinada com identificação da Unidade de I&D por Vossa Excelência e pelos elementos da sua Unidade que assim o desejem e, enviada para o endereço (snesup@snesup.pt), na forma digital até ao dia 28 de julho às 14 horas.

Convidamo-lo também para se juntar à iniciativa de, no dia 29 de julho às 15h, entregar em mão ao Sr. Ministro o pedido suspensão do processo de Avaliação das Unidades de I&D. Mais tarde serão enviadas informações em relação à hora e ao local de reunião.

Outras iniciativas estão ser preparadas.

Queixa ao Ministério Público (o texto ainda está em preparação nos nossos serviços jurídicos). Solicitamos que nos informe se, enquanto coordenador de uma Unidade de I&D ou a título individual, está disponível a subscrever esta ação e se nos pode enviar elementos suscetíveis de demonstrar os “erros grosseiros” subjacentes à primeira fase do processo de avaliação.

Informamos também que a suspensão do processo de avaliação da Unidades I&D 2013 pela via judicial, incluindo uma Providência Cautelar, tem que ser subscrita pelos coordenadores das unidades de I&D. O SNESup está disponível para dar apoio jurídico para o efeito e pergunta se a sua Unidade de I&D está também disponível para subscrever uma ação deste tipo.

Os melhores Cumprimentos,

Romeu Videira

Membro da Direção do SNESup

Responsável pela área da Política Científica e Apoio aos Investigadores

------------------------------------------------------------------------------------------------

Ex.^mo Sr.

Ministro da Educação e Ciência

Professor Doutor Nuno Crato

Tendo em conta as comprovadas situações de prejuízo e falta de equilíbrio relativas ao processo de avaliação de Unidades de I&D 2013, muitas das quais tornadas públicas nos últimos dias, e que mereceu mesmo o reparo por parte dos presidentes dos conselhos científicos da Fundação para a Ciência e Tecnologia e da comunidade em geral, dada a situação insustentável criada para o Sistema Científico Nacional e das graves implicações no futuro da investigação realizada no nosso país, vimos por este meio solicitar a suspensão do processo em curso, seguido de uma completa reavaliação das Unidades de I&D, num quadro de paridade e justiça. 

Esta ação de suspensão e reavaliação permite criar condições para um regresso a uma política de investimento em Investigação e Ciência, que merecia consenso a nível nacional e que foi fortemente abalado por um conjunto de decisões de grave impacto e que mereceram um repúdio generalizado.

Minha Conferência em Aveiro sobre "Hands on Science"

Ler aqui: http://uaonline.ua.pt/pub/detail.asp?c=39348

Funding review casting shadow over Portuguese research could cloud other countries

By Teresa Marques, Centro de Filosofia da Universidade de Lisboa

Every five years, the Portuguese Science and Technology Foundation (FCT) reviews its research institutes from Astronomy to Zoology. But this year, for the first time, the FCT contracted the European Science Foundation (ESF) for the job. FCT’s resulting reallocation of funding will impact upon the career of more than 5,000 researchers – a third of the total in the country.

The methods of the review and revelations about the contract signed between the two foundations have mired the process in controversy. And the results might affect science funding policies across Europe.

It is not the first time that the ESF has been brought in for an evaluation. For instance, it was involved in a 2009 evaluation of the Bulgarian Academy of Sciences, which led to the decision to review all Bulgarian universities. According to Research Europe, following the evaluation, the academy felt it needed an “honest picture of where it stood in global research performance”.

Miguel Seabra, president of FCT, gave a similar reason for bringing in ESF. He argues the official reason was that an experienced and independent assessment from ESF would help find research units that are productive at an internationally competitive level.

However, there is a case to be made that some times global competitiveness is not the best metric. Some countries, even in Europe, need to focus on capacity building which would lead to excellence in the long term. For instance, FCT’s investment in the past 30 years brought the number of PhDs in Portugal closer to the European average. In that period, the level of productivity in research and science has grown exponentially. All this progress might be undone by the new review.

Two steps to disaster

The purpose of the ongoing review in Portugal is to identify the research units which meet these standards and redistribute funding until 2020. It is set up in two stages, the first of which is a knockout round. ESF set up seven review panels composed of international experts.

Results of this first phase, published in June this year, were devastating. About a fifth (22%) of all research units – institutes and university departments – were graded “fair” or “poor”. These units will receive no funds until 2020. About a quarter (26%) of such units were graded “good”, and they will get limited funding depending on their size. The remaining (52%) move to the second stage of the evaluation and stand to gain greater funding, based on money that will be taken away from the rest.

Even if the “good” units receive some funding, they will die out in the long run, because the allocated funds are insufficient to pay the most basic expenses. These units will also be disadvantaged in competition for other funds, because of this grade. That means, a total of 154 research units cannot continue their research, hire new people or train new graduate students until 2020. These units make up a third (5187) of the researchers. Naturally, this has caused much criticism among the research community.

According to the FCT and Nuno Crato, the minister for education and science, the money for research in Portugal has not decreased. This raises questions about the justification of the cuts to half the research units in the country.

Unusual review process

There are various objections to the first stage of the review. One major criticism is the lack of specialisation of the review panels. In contrast to previous evaluations for example, there are no longer separate panels for Materials Science, Physics, Mathematics or Chemistry, but only one “Exact Sciences Panel” consisting of 11 members. In comparison, the 2007 FCT review of research units had 25 different subject panels, some of which had more than 11 review members.

Nicolas Walter, who supervised the evaluation at the ESF, argues that specialist reviewers made up for the shortcoming: “While the seven panels each covered a broader spectrum of science, their members were assisted by two external referees for each application.”

Many research units, however, complain about review panels lowering the grades given by external reviewers, according to a blog founded by a physics professor. There are cases of huge differences in how external referees and panel members give grades, with external experts approving a unit and panel members failing to take on the advice, or vice-versa. For instance, this happened to the Philosophy Centre of the University of Lisbon, where I work, and with the Centre for Applied Statistics at the University of Lisbon.

The Portuguese Physics Society (SPF) and the Portuguese Chemistry Society (SPQ) have released official statements of concern with the process and its effect on Portuguese science. The Portuguese Philosophy Society intends to make a similar statement, as its president, João Cardoso Rosas, confirmed.

Consequences beyond Portuguese science

The first stage of the review was officially aimed at weeding out underperforming research units. FCT’s president Miguel Seabra denied that a 50% approval rate was recommended to the panel – “neither ESF nor FCT would have agreed to anything of the sort”. Beyond allegations of bias and factual errors, it has now emerged, after FCT finally disclosed the contract signed with ESF, that there was a quota stipulated from the very beginning.

The redistribution in funding will cut resources from many research units based in public universities, and concentrate resources in fewer institutions (including private foundations). There is no good financial or scientific reason to take away funds from already productive centres. FCT’s scientific councils, not involved in the ongoing review, publicly condemned the process, too.

The ESF’s review conveniently agrees with the recent shift in research funding policy in Portugal, which previously resulted in drastic cuts to PhD and postdoctoral grants. Other European countries in the same situation as Portugal, particularly those in the eastern part, should pay attention if they are considering an ESF review.

Teresa Marques is a senior researcher at the Philosophy Centre of the University of Lisbon until September 2014, and Marie Curie Fellow at the Philosophy of Law Group at University Pompeu Fabra from October 2014. Teresa Marques is funded by FCT with a Ciência 2008 Fellowship, as PI of research project EuroUnders/0001/2010 within the EUROCORES EuroUnderstanding programme of ESF, and also as member of research project PTDC/FIL-FIL/121209/2010. She is also funded by the Spanish Government as a member of project FFI2010-16049 and of Consolider-Ingenio project CSD2009-00056.

This article was originally published on The Conversation. Read the original article.

SOMOS LIVROS

Trailer do documentário "Somos Livros" de Mariana Ferreira, no qual tive o gosto de participar:

 

O bonsai de uma tangerineira

De uma carta humorística ao Presidente da FCT:

"Adoro a ideia de um sistema científico podado, qual bonsai de uma tangerineira com quatro ou cinco pequenos frutos e duas folhinhas no topo a fazerem fotossíntese."

Nota: não foi possível obter para a imagem um bonsai só com "duas folhinhas", porque não se poda tanto.

CRÍTICAS CONTRA CORTES NA CIÊNCIA CHEGAM À "NATURE"

Este é um dos títulos na primeira página do Diário de Notícias.

http://www.dn.pt/edicaoimpressa/default.aspx?content_id=4039694

Declarações que fiz à jornalista Filomena Naves:

"Esta avaliação é um trabalho de amadores e desde que se conheceu o contrato que se confirma que há manipulação e intenção deliberada dos painéis de eliminar centros de investigação, o que é grave e lamentável."

O resultado, acrescentei,  é que:

"Centros com provas dadas internacionalmente serão destruídos, e a ciência portuguesa vai ser mais pequena e mais provinciana."

Outros investigadores dão a cara em críticas, mais ou menos contundentes, à "avaliação". A FCT, pela qual ninguém dá a cara no artigo, continua em processo de negação.  O que diz, em pretensa resposta, nem sequer se percebe.

O que significa “avaliação” no dicionário da FCT

Excelente artigo de opinião, de Teresa Firmino", editora de ciência do PÚBLICO:

"A FCT tem estado a brindar-nos com um dicionário novo. No regulamento desta avaliação, ficamos ainda a saber que os centros que chegaram à segunda fase – 168 e que estão portanto acima de Bom – podem agora ser classificados com Insuficiente, Razoável, Bom, Muito Bom, Excelente ou Excepcional. Um centro que garantiu pelo menos um Muito Bom, ao passar à segunda fase da avaliação, pode agora vir a ter Insuficiente. Ou seja, ter Muito Bom Insuficiente. Confuso?

Com a revelação do teor do contrato entre a FCT e a ESF, ficámos a saber que o dicionário da FCT tem agora outra palavra nova: avaliação já não significa avaliação."

Para ler mais, aqui.

Os reitores e a secretária de Estado

Ficmos a saber pela notícia de Samuel Silva no Público de hoje que os Reitores, honra lhes seja, e embora com algum atraso, querem corrigir a avaliação disparatada da FCT. Vamos a ver se são ouvidos ou se, como de costume, o actual governo faz ouvidos de mercador às pretensões dos Reitores e à autonomia das universidades. A FCT imiscui-se no ensino superior de uma maneira intolerável, pois ao cortar a investigação está a cortar também arbitrariamente a formação avançada, delapidando recursos pagos pelo erário público. De qualquer modo parece que será pouco remendar um pano roto: era melhor um pano novo.

 Algo extraordinário parece ser o papel da secretária de Estado da Ciência e Tecnologia, que reuniu com os  Reitores. Diz assim o comunicado do Conselho de Reitores:

 "A Senhora Secretária de Estado da Ciência declarou que tinha ficado devidamente informada sobre as preocupações dos Reitores quanto ao processo de avaliação e às consequências da mesma para as Universidades, tendo concordado em transmiti-las ao Presidente da FCT."

 Quer dizer, a governante guardou de Conrado prudente silêncio. Nada tem a dizer ou a fazer, perante os graves erros e inconsistências  apresentados, a não ser servir de "pombo-correio" para entregar uma mensagem não ao ministro Nuno Crato´, o principal responsável, mas ao Presidente da FCT. Não poderiam os Reitores ter enviado directamente as suas bem fundadas preocupações à FCT nesta época em que a informação circula rapidamente? Ou será que, com o fim anunciado pela FCT do Instituto de Telecomunicações, que há pouco tempo tanto o ministro como a sua Secretária de Estado achavam excelentes, voltámos ao tempo das mensagens entregues por estafetas? 

Quanto ao Secretário de Estado do Ensino Superior, cuja missão seria estar ao lado dos Reitores na defesa da ciência dentro das universidades, como sector estratégico para o desenvolvimento do país, não se sabe por onde anda. Só se espera que não sirva apenas para levar a resposta da FCT aos Reitores.

A defesa do sistema de investigação é uma questão de soberania

José Vítor Malheiros, num excelente artigo de opinião, recapitula os erros da FCT e do MEC, Ministério que a tutela, concluindo o óbvio. Para esta FCT e este MEC não existem grandes interesses nacionais. Existem apenas pequenos interesses de grupo. No mundo reduzido que conseguem alcançar, a sua visão não vai além do umbigo. Ler aqui.

O MINISTÉRIO DA EDUCAÇÃO E CIÊNCIA PERDEU A CABEÇA

Já não é só o confronto aberto com os investigadores. O Ministério da Educação e Ciência escolheu a via do confronto aberto com os professores. Ao marcar uma prova aos professores com três dias úteis de antecedência desvaloriza a prova e desvaloriza os professores. Está de cabeça perdida.

RTP: REPORTAGEM SOBRE INCONSISTÊNCIAS NA AVALIAÇÃO DAS UNIDADES

São os presidentes dos Conselhos Científicos da FCT que criticam a avaliação das unidades. A crítica, já vem de dentro. No telejornal da RTP de domingo, a partir do minuto 35, da primeira parte.

Reunião da CASA DAS CIÊNCIAS no Porto

MEMORANDO DO CRUP A PROPÓSITO DA AVALIAÇÃO DAS UNIDADES DE INVESTIGAÇÃO

Assunto: Reunião / 19 de julho de 2014

A Senhora Secretária de Estado da Ciência, Prof. Doutora Leonor Parreira, reuniu com o Plenário do CRUP, a 19 de julho, para análise das implicações nas universidades do processo de avaliação em curso nas unidades de investigação, realizado pela Fundação para a Ciência e a Tecnologia.

Os Reitores, apostados no reforço do nível de exigência dos sistemas de ensino superior e de ciência e na sua afirmação internacional, manifestaram a sua grande preocupação com o modo como todo este exercício se tem vindo a desenrolar, convictos da vital importância do processo de avaliação em curso e da importância que ele seja concluído de forma credível e robusta, num quadro de independência, de garantia de qualidade e de transparência.

Neste contexto, e de modo a ultrapassar as dificuldades associadas à primeira fase da avaliação propuseram que, no decurso da fase de audiência prévia das unidades de investigação, sejam efetuadas reuniões entre o Reitor de cada universidade e o Presidente da FCT para uma análise detalhada das implicações do processo de avaliação em cada instituição, tendo em conta as respetivas estratégias de investigação e desenvolvimento, bem como a sua articulação com as políticas regionais no quadro do Acordo de Parceria EU-Portugal 2020.

Para responder a estes desafios, o Plenário do CRUP considera essencial que sejam incluídas nessa análise, com passagem à segunda fase de avaliação, as unidades de investigação que tenham:

- sido classificadas com Excelente ou Muito Bom na anterior avaliação de unidades de investigação;

- obtido na primeira fase da presente avaliação de 2014 a classificação de pelo menos 14 e um score de pelo menos 4 na avaliação curricular.

Estas reuniões deverão ter lugar nas próximas semanas e nelas poderão participar, por solicitação do Reitor envolvido ou do Presidente da FCT, elementos da respetiva universidade ou dos Conselhos Científicos da FCT.

Os Reitores manifestaram ainda a necessidade de a língua portuguesa ser reconhecida como língua de produção científica e literária e veículo de conhecimento científico, particularmente nas áreas das ciências sociais e humanidades, algo que muitos dos avaliadores não tomaram em consideração, pois o espaço de língua portuguesa é um dos desígnios estratégicos que maior relevância assume para Portugal. Entendem, por isso, que a FCT deve transmitir aos avaliadores uma orientação clara nesse sentido.

Foi também explicitada a absoluta necessidade de dissociar o financiamento disponível da avaliação das unidades de investigação, pois a relevância do resultado de uma avaliação ultrapassa em muito a mera atribuição de um financiamento plurianual.

O papel central das Universidades no sistema científico nacional foi reafirmado, assim como a necessidade de a FCT assumir tal facto na definição dos termos de referência da avaliação e no desenrolar do todo o processo de execução da mesma.

Por último, foi também considerado como de grande interesse e indutor de um aumento de transparência do sistema a divulgação, por parte da FCT, do histórico das avaliações e dos níveis de financiamento público atribuído às unidades de investigação ao longo dos últimos sete anos. 

A Senhora Secretária de Estado da Ciência declarou que tinha ficado devidamente informada sobre as preocupações dos Reitores quanto ao processo de avaliação e às consequências da mesma para as Universidades, tendo concordado em transmiti-las ao Presidente da FCT.

Solução Final

Com a devida vénia, transcrevemos a crónica de Viriato Soromenho Marques no DN de hoje:

Numa altura em que o País luta pela sua sobrevivência como entidade política, e os cidadãos, aturdidos, procuram sobreviver a um quotidiano de incerteza e instabilidade, seria de esperar que o Governo, independentemente da sua coloração partidária, abrigasse no seu seio um resquício instintivo da defesa do interesse nacional. O que se sabe sobre o modo como a política de ciência está a ser conduzida mostra, contudo, que essa esperança é vã e infundada. O ministério tutelado por Nuno Crato, através da FCT, ultrapassou todos os limites do razoável na avaliação dos 322 centros de investigação nacionais. Em nome da "imparcialidade", confiou a avaliação, exclusivamente, a peritos estrangeiros. A presença de avaliadores internacionais é prática universal, correta e corrente, mas alguém pode imaginar que, por exemplo, um Centro de Literatura Alemã, da Universidade Livre de Berlim, aceitasse ser avaliado por três peritos estrangeiros que nem sequer soubessem dizer "bom dia" em alemão, que desconhecessem o contexto cultural e institucional do país, tratando a cultura alemã com desprezo paternalista? Pois, foi essa a regra provinciana praticada pela FCT. Sabemos, também, que a FCT colocou no contrato com os avaliadores a exigência de que, na primeira fase do processo, metade dos centros fosse excluída, o que equivale a uma condenação à morte ou à indigência. Trata-se de uma decisão política deste governo. Não se prende com a troika nem com a austeridade. Tem implicações catastróficas para uma das poucas políticas públicas conseguidas pela III República. É um elitismo que mascara a profunda e dolosa ignorância de quem neste momento utiliza a "solução final" como modelo para o futuro da ciência em Portugal. É um caminho sem reforma possível. Tem de ser travado.

"O QUE NASCE TORTO... ": CARTA ABERTA A NUNO CRATO

Meu caro Nuno:

Diz o povo que "o que nasce torto tarde ou nunca se endireita". É o caso da "avaliação" que o Ministério da Educação e Ciência  que diriges está a realizar mediante uma encomenda feita pela FCT - Fundação para a Ciência e a Tecnologia. Vai entre aspas a palavra a avaliação, porque ela está a ser impropriamente usada. Esta avaliação foi logo de início mal pensada, entregando-a a uma instituição sem experiência de processos a esta escala. Tantos são os erros grosseiros que têm sido documentadamente apontados e tantas são as inconsistências do estranho processo escolhido, que é chegada a altura de intervires. Em particular, parece ser uma fraude a existência prévia, hoje comprovada apesar de continuamente negada pela FCT, de quotas, que obrigou à descida das notas de alguns centros de produção avultada e de qualidade reconhecida. Com isso, perdem-se investimentos efectuados, esforços feitos, esperanças acumuladas. E perde-se a confiança na agência que devia apoiar a ciência e a tecnologia em Portugal em vez de desapoiar.

Não consigo perceber o caminho de afastamento da ciência que está a ser trilhado pelo "teu" ministério. Digo-o com a mesma franqueza com que te disse, no início da legislatura, que era possível continuar a aproximação à Europa na ciência e tecnologia e confiava em ti para isso mesmo. Agora, estou, como muita gente, desiludido. E não vejo outra solução que não seja a suspensão deste processo "avaliativo", auditando-o devidamente, e averiguando todas as falhas que têm sido apontadas. Não podes dizer que não sabes: algumas delas foram aqui expostas publicamente neste blogue, onde um dia colaboraste e que desde há meia dúzia de anos tem defendido a ciência e a cultura científica, e outras estão na "plataforma" da avaliação da FCT enviadas por numerosos cientistas bastante desapontados. O futuro da ciência portuguesa é hoje motivo de receio para cidadãos portugueses e estrangeiros. Enquanto não forem tiradas conclusões com base num inquérito rigoroso, insistir num processo cuja fragilidade está à vista de todos não passa de mera teimosia política. Até lá deveria valer para todos os efeitos a classificação anterior, a qual, ao contrário desta,  foi feita por pares aceite sem problemas de maior. 

Errar é humano. Mas errar repetidamente e não reconhecer o erro é desumano: é, além do mais, completamente oposto à ciência e à cultura científica que durante muitos anos defendemos juntos. Tenho muita pena de ter de falar contigo através dos telejornais, dos jornais e da Web, mas, nos últimos tempos, decidiste permanecer entricheirado no edifício que querias "implodir", não ouvindo as vozes da razão que chegam de todo o lado. São muitos e muito bons os investigadores sumariamente excluídos, não só as pessoas da tua geração que ajudaram a fazer crescer a ciência em Portugal como os jovens investigadores que agora vêem a ciência a mingar e são forçados a emigrar com mais este corte brutal.  Não podes sequer dizer que se trata de cortes impostos pela troika, porque o programa dito de "ajustamento" já terminou com uma "saída limpa". Sem ciência diversificada e plural, sem ciência qualificada a vários níveis, sem ciência devidamente espalhada pelo país, o desenvolvimento nacional ficará seriamente prejudicado. A ciência unia-nos e espero bem reencontrar-te na defesa dela. A ciência precisa de todos, a ciência precisa de ti!

Com um abraço do

Carlos

A já-não-tão-misteriosa avaliação da FCT

Texto de análise da avaliação da FCT recebido de investigador português no estrangeiro, na sequência de outro anterior, que nos pediu para manter o aninimato.

1. A experiência quotaminada

No post anterior mostrámos a existência de quotas na avaliação das unidades de investigação em curso. Mais precisamente, que a direcção da FCT decidiu, a priori, que esta avaliação serviria para eliminar cerca de 50% dos centros, independentemente da qualidade que a avaliação viesse a demonstrar existir. Este facto, conhecido por vários investigadores mas inicialmente negado pela FCT, era possível de deduzir da (pouca) informação disponível e foi agora confirmado pelo contrato estabelecido entre a FCT e a ESF.

A direcção da FCT afirma que se tratava apenas de uma estimativa baseada nos resultados de 2007, o que quer dizer que não admite que em 6-7 anos tivesse havido melhorias globais substanciais no sistema, para já não falar nas alterações resultantes das junções e separações de unidades, etc. O resultado prático foi que a ESF seguiu à risca essas instruções. No entanto, a FCT afirma que o exercício está a decorrer normalmente, não achando estranho que, na hipótese remota de não ter havido uma melhoria global no sistema, o número de trocas de classificação entre unidades tenha sido precisamente aquele que garantiu que a percentagem se mantivesse. Uma espécie de lei de conservação que actuou para garantir que a percentagem de centros com Muito Bom ou mais ficou na mesma. E com a agravante que é ainda necessário adicionar a isto uma alteração na escala de classificações. Ou seja, a opção que a FCT tomou é completamente desprovida de sentido.

Além disso, para a ESF garantir a selecção de um número de centros pré-definido, complementou a restrição da FCT com a sua imposição área a área, pois caso contrário teria em mãos uma guerra entre painéis com consequências imprevisíveis. Talvez por isso, no meio de tantos dados apresentados não foram divulgados os números que seriam dos mais naturais, ou seja, a percentagem de centros que passaram à segunda fase em cada painel. Afinal de contas, estes dados deveriam dar um panorama da tal excelência por área (71% na área A, 47% na área B, etc.). O problema é que em vez disso apresentariam uma distribuição quase uniforme nos 50% e, nalguns casos, mesmo dentro de cada uma das áreas que compunham o painel. Isto porque os painéis, precisamente para evitar uma comparação entre unidades de áreas diferentes, que sabem ser um processo praticamente impossível, fizeram um acordo à partida em que cada um também utilizaria a quota de 50%. O baralhar da informação para que só se pudesse chegar lá por estimativas não nos deixa grande margem para interpretações sobre o que se está a passar.

A questão fundamental é que era impossível saber à partida que o número mágico de 50% se aplicaria a todas as 6 grandes áreas mais uma multidisciplinar em que a ESF dividiu a avaliação – o painel multidisciplinar, composto por membros dos outros paineis, pode ter também servido para resolver alguns problemas delicados dentro de cada um dos outros painéis. De facto, não só era impossível saber que seriam 50%, como era impossível que assim fosse. A escolha a priori de uma percentagem mostra uma total ausência de espírito científico, de alguém que quer influenciar a experiência com base em ideias pré-concebidas ou, pior, que quer manipular a realização da experiência com vista à obtenção de um dado resultado.

É preciso que fique bem claro que este número de 50% é a chave de tudo o que se passou, e inquinou todo o exercício de avaliação mesmo antes do seu início. Pensamos que qualquer cientista concluiria rapidamente que a experiência se encontrava contaminada, admitiria o erro, mandava esterilizar o laboratório e começava de novo. Explica também muitas das incongruências entre as notas dos avaliadores, os comentários surrealistas, e todas as outras curiosidades que têm vindo à superfície nas últimas semanas. Em relação aos comentários, é bem possível que alguns dos mais idiotas ou ofensivos tenham sido feitos ou por avaliadores que a partir de certa altura se cansaram de ter de justificar o injustificável, ou propositadamente por avaliadores que se encontraram numa situação que não esperavam e com a qual não concordavam, para minar uma avaliação com regras que teimosamente as duas instituições insistiram em impor. Por um lado, e embora a comunidade científica internacional possa ter (e tem), muitos defeitos, tem também uma coisa que os une: o desrespeito e a rejeição por avaliações como esta, que de científico tem muito pouco.

Acresce ainda um ponto. Uma coisa é encomendar uma avaliação por pares em que os painéis são formados por cientistas residentes no estrangeiro. Isso não só é perfeitamente natural num país com a dimensão de Portugal como é fundamental – e foi sempre o caso nas anteriores avaliações da FCT. Outra coisa é indicar que há quotas, o que imediatamente nos transforma num país menor do ponto de vista científico e nos fez perder o respeito de pelo menos uma parte dos membros do painel. Por outras palavras, ao tomar esta opção, a FCT fez também um péssimo serviço à imagem externa do país.

2. Outras falhas na avaliação: os pares e a robustez

A ciência portuguesa está numa fase em que pode ser, de facto, importante separar o trigo do joio. Mas para além de haver (ainda mais) um erro fundamental na abordagem escolhida – o trigo e o joio não estão concentrados em separado em unidades diferentes, mas coexistem em cada unidade, por muito boa que esta seja – uma avaliação com esse fim tem de ser feita de forma independente, por pares, e ser extremamente robusta. A existência de quotas por painel mostra que ela não é independente e que uma parte dos resultados estava determinada à partida. Repetimos que isto por si só deveria ser suficiente para terminar o processo imediatamente. Mas para o caso de restarem algumas dúvidas, vamos agora ver que não podemos considerar que a avaliação tenha sido feita por pares nem que seja robusta.

Ao adoptar um sistema de três árbitros anónimos a ESF está a efectuar uma abordagem semelhante à utilizada por uma revista para a aceitação ou rejeição de artigos, em que o editor, com base nos relatórios, toma a decisão final. Em muitas áreas, e tal como foi o caso aqui, as revistas permitem um sistema de rebuttal. Só que enquanto no caso de um artigo rejeitado este pode ser revisto e re-submetido a outra revista, aqui estamos perante efeitos a longo prazo para a ciência de todo um país. Só isso seria suficiente para se pensar duas vezes se um sistema deste tipo é razoável para o fim proposto. Mas, para além disso, será que os árbitros remotos tiveram um verdadeiro papel no processo? De acordo com a FCT e a ESF, estes peritos têm um papel fundamental na avaliação, colmatando as lacunas que os painéis possam ter dentro das diferentes áreas.

Num rasgo de transparência pouco usual em tudo isto, a FCT indicou no guia de avaliação que um dos árbitros seria do painel. Mais precisamente, que haveria um relator secundário que produziria um relatório em paralelo com os outros dois árbitros remotos. Uma vez que mesmo assim a ESF é uma instituição bastante mais transparente que a actual FCT, os códigos numéricos dos três árbitros foram divulgados a cada centro e parecem indicar que os 8xxxx ou 9xxxx dizem respeito aos árbitros externos e os 1xxx ou 2xxx aos internos, do painel.

Estes dados, combinados com o facto de a ESF ter anunciado orgulhosamente que utilizou 659 peritos internacionais de 46 países na avaliação deviam ser suficientes para nos alertar que algo não está bem. É que só foram avaliadas 322 unidades, o que quer dizer que, depois de excluirmos os 73 membros dos painéis, com grande probabilidade,  não houve um mesmo árbitro a ter conhecimento de duas unidades, quanto mais do panorama geral – aliás, a ESF também refere isso na sua página. E que todas notas iguais que foram dadas nessas condições podem, afinal, ter significados diferentes e vice-versa. Mas como veremos a situação é orwelliana e umas notas são mais iguais que outras.

No caso de uma revista, os árbitros têm uma noção clara do nível esperado dos artigos que são publicados nessa revista e harmonizam a sua avaliação com essa expectativa. Por muito relevante que seja, é pouco provável que um artigo muito técnico e específico destinado principalmente a especialistas seja aceite numa revista generalista, por exemplo. Ou que um artigo que não contém uma contribuição considerada fundamental seja aceite numa revista de topo – mas poderá, por outro lado, ser aceite numa outra revista de grande qualidade dessa mesma área. Também aí diferentes árbitros terão diferentes opiniões e muitas vezes a aceitação ou rejeição, em casos de competição feroz, apresenta um elevado nível de instabilidade dependendo, em particular, dos interesses científicos do editor que toma a decisão (queremos com isto apenas dizer que é natural que um editor tenha uma maior simpatia por assuntos que conhece melhor, nada mais). Enquanto que numa revista isso pode ser aceitável/inevitável, não o é certamente na avaliação em curso. Aqui o que está em jogo é de tal forma importante que não nos podemos dar ao luxo de ter um nível de instabilidade, por muito pequeno que ele seja. Ao escolher árbitros diferentes para praticamente a totalidade das unidades a ESF está a abandonar, a este nível, a garantia que neste tipo de avaliações é normalmente dada por um painel de pares com uma dimensão suficiente para ter uma visão global do que estão a avaliar e que poderão, em caso de dúvida, pedir opiniões externas sobre um dado ponto específico. O que nos faz voltar ao painel, que devia ser responsável pela garantia de estabilidade neste processo, aos árbitros e aos seus códigos.

Seria útil ter a lista global dos códigos dos árbitros e as respectivas classificações que atribuíram a cada centro. Mais uma vez nem a FCT nem a ESF disponibilizam essa informação, pelo que é necessário obtê-la por outros meios, e estará sempre incompleta – quem chegou até aqui, poderá enviar para este blog mais exemplos de que tenha conhecimento. Vejamos alguns casos – para não divulgar explicitamente informação respeitante a cada unidade, estas estão identificadas por letras.

Unidade	Árbitros e respectivas notas			2ª fase
A	9xxxx:  19	9xxxx:  15	1xxx:  11	N
B	8xxxx:  19	8xxxx:  14	2xxx:  10	N
C	9xxxx:  11	9xxxx:  14	1xxx:  15	S
D	9xxxx:  12	9xxxx:  17	2xxx:  20	S
E	9xxxx:  19	9xxxx:  16	1xxx:  11	N
F	9xxxx:  18	9xxxx:  17	2xxx:  11	N
G	9xxxx:  20	9xxxx:  14	1xxx:  10	N
H	9xxxx:  16	9xxxx:  17	2xxx:  11	N
I	9xxxx:  16	9xxxx:  16	2xxx:  11	N

O aspecto que salta aos olhos em primeiro lugar é a variação apresentada para a mesma unidade que, para os casos A,B,D,E,F e G varia entre 7 pontos (F) e 10 pontos (G). Embora não seja aceitável, e seja um reflexo do curioso processo utilizado, esse factor não será provavelmente tão relevante e numa visão global de todas as unidades até pode acontecer que seja negligenciável. O que é muitíssimo mais grave é que, como se pode ver da tabela, em todos estes casos foi o árbitro do painel quem de facto determinou a passagem ou não à segunda fase, ajustando a sua nota de forma necessária para que isso sucedesse. E isto aconteceu tanto em casos onde o centro passou (C,D) como nos casos em que não passou (A,B,E,F,G,H,I).

Uma primeira questão é sobre o que a FCT entende por “em paralelo”. Torna-se difícil acreditar que a terceira nota foi dada sem o conhecimento das outras duas. Mas demos o benefício da dúvida à avaliação neste ponto, ou seja, admitamos que a terceira nota foi atribuída de forma independente. O que se verifica é que o papel dos relatores do painel ao escreverem o relatório final foi apenas o de reforçar o efeito deste terceiro árbitro por forma a impedir ou promover a passagem da unidade de acordo com o que aquele tinha indicado.

Na prática, isto significa que a avaliação que decide o financiamento da ciência em Portugal foi, em cada área científica (por oposição aos 6+1 aglomerados utilizados pela ESF), determinada por duas ou três pessoas – sim, os painéis tinham mais investigadores, mas esta é a hipótese menos má; a alternativa implica que tivemos Engenheiros Químicos a avaliar Engenheiros Civis, Matemáticos a avaliar Químicos, peritos em Saúde Pública a avaliar Biologia Experimental, Historiadores a avaliar Psicólogos, Economistas a avaliar Antropólogos, Ciências do Mar a avaliar Ciências Florestais, ou outra qualquer combinação que a salada de frutas que são os painéis da ESF permite.

Vejamos ainda alguns casos, indicados na tabela seguinte, em que as diferenças entre as notas mais alta e mais baixa foram relativamente grandes, chegando a atingir 11 valores! Mas mais uma vez esse não é o lado pior. O que é curioso aqui é que em todos os casos a nota mais baixa foi dada por um dos árbitros externos (8xxxx ou 9xxxx). Uma vez que todos os centros em causa passaram à segunda fase, a única conclusão possível é que essa nota foi, nestes casos, completamente ignorada.

Unidade	Nota mais baixa	Nota mais alta	Diferença	2ª fase
J	12	18	6	S
K	14	20	6	S
L	12	20	8	S
M	10	20	10	S
N	8	19	11	S

Por muito competentes que sejam na sua especialidade e muita experiência que tenham (que nem sempre é o caso, como se pode ver analisando a lista fornecida pela ESF), não é credível que os resultados produzidos por esses avaliadores sejam estáveis, no sentido em que três outros de subáreas diferentes produzissem necessariamente a mesma avaliação. Principalmente quando nos situamos na zona onde a FCT quis fazer a separação, que é provavelmente aquela onde há mais ruído. Ou seja, está-se a querer meter as unidades em gavetas diferentes com consequências drásticas (passagem ou não à segunda fase) em casos em que a diferença de qualidade entre elas é mínima e claramente não justifica que uma tenha financiamento e a outra não (para todos os efeitos práticos).

Também não é uma avaliação por pares, uma vez que estes dois ou três elementos não podiam cobrir, nem cobriam, todas as subáreas necessárias sobre as quais tomaram decisões. Qualquer revista tem um número de editores bastante superior ao que a ESF utilizou para cada área científica em cada painel, por forma a poder garantir que cobre competentemente tudo aquilo que se propõe publicar. E, como o caso do centro de Estatística da Universidade de Lisboa já mostrou, os membros dos painéis emitiram julgamentos sobre áreas nas quais não são peritos, sobrepondo-se aos dos árbitros remotos os quais, por sua vez, foram escolhidos precisamente na sua qualidade de especialistas.

3. E agora?

A exclusão de uma unidade do sistema público de financiamento do qual faz parte, quer no sentido estrito, quer atribuindo-lhe um financiamento irrisório, só poderá ser feita se for possível garantir, para além de qualquer dúvida razoável, que de facto a unidade não tem condições para produzir o que é esperado dela e com um nível de qualidade elevado. Caso contrário, podem-se estar a cometer erros que terão consequências muito graves. E convém estarmos conscientes que, a ser levada a cabo, uma avaliação destas terá repercussões para lá de 2020.

Em simultâneo com a publicação do contrato da FCT com a ESF confirmando a decisão a priori de eliminar um certo número de centros, tivemos também um desmentido que isso tivesse correspondido a uma influência da FCT na avaliação. Na melhor das hipóteses, conclui-se que a actual direcção da FCT não percebe o alcance e a consequência das suas próprias acções e perdeu toda a credibilidade para prosseguir este (ou outro qualquer) exercício de avaliação – aliás, vários dos problemas existentes aqui já estiveram presentes na avaliação de projectos efectuada em 2012. O facto de na altura não se ter tomado uma posição conjunta faz com que agora nos encontremos nesta situação.

Cabe neste momento à comunidade científica tomar a iniciativa e mostrar que é suficientemente forte para se negar a participar em semelhante processo, exigindo que se comece tudo do zero. Até porque continuamos sem conhecer o modo como a segunda fase se irá desenrolar, sabendo-se apenas que as unidades apuradas passaram a fazer parte de uma shortlist para uma avaliação que será coordenada e implementada pela FCT, com o apoio da ESF. Porque é que um processo que até ao momento não deu provas nenhumas de poder cumprir os seus objectivos irá de repente transformar-se e ser independente, por pares (no verdadeiro sentido da expressão) e robusto?  Pelo que é possível descortinar, continuaremos, por exemplo, sem painéis que contenham um número mínimo de elementos que garanta a estabilidade do processo, já que cada visita contará com os dois relatores do painel para esse centro e dois outros peritos escolhidos pela FCT.

Enquanto não se admitir que é necessária a utilização de painéis dedicados a cada uma das áreas científicas que compõem o sistema científico nacional, os quais têm de ter um número de especialistas que permita uma cobertura razoável das sub-áreas existentes, não será possível fazer uma avaliação credível e de acordo com os melhores padrões internacionais.

Investigador identificado pelo blogue

É TÃO BOM TER AMIGOS QUE NOS APOIAM, NO MATTER WHAT

“Muitos investigadores têm-nos dito que nunca tiveram uma avaliação tão boa e justa”

Miguel Seabra, em entrevista ao PÚBLICO.

CONSELHOS CIENTÍFICOS DA FCT CRITICAM A AVALIAÇÃO

Os Conselhos Científicos da FCT, que foram escolhidos pela direcção da FCT, finalmente acordaram. Apontam em carta aberta algumas inconsistências e chamam a atenção para alguns perigos. Depois de analisarem melhor o processo e de lerem, na íntegra, o contrato da ESF com a FCT vão aperceber-se que ainda há mais inconsistências do que aquelas apontaram. E, mais do que inconsistências, há erros substanciais. Os Conselhos são parte integrante da FCT, pelo que agora é a FCT que critica a própria FCT, não deixando muita margem de manobra ao ministro, que terá de se pronunciar. Está quebrada de vez a confiança neste processo pseudo-avaliativo. A FCT já foi crível e agora é incrível. Trancrevo a notícia da TVI24:

Avaliação pode acabar com algumas áreas de investigação

Presidentes dos conselhos científicos da Fundação para a Ciência e Tecnologia apontam «casos de inconsistência» na avaliação das unidades

Por: Redacção / PP    |   2014-07-20 14:45

Os presidentes dos conselhos científicos da Fundação para a Ciência e Tecnologia (FCT) apontam «casos de inconsistência» na avaliação das unidades de investigação e alertam para consequências «graves» do desaparecimento de algumas áreas do sistema.

«Verificam-se casos de inconsistência entre os vários momentos de avaliação. Houve unidades de investigação e desenvolvimento que tiveram boas avaliações quantitativas e qualitativas no primeiro conjunto de avaliação que não passaram à segunda fase», refere uma carta dirigida ao presidente da FCT, hoje divulgada.

Os responsáveis de cada um dos quatro conselhos científicos acrescentam que, «em alguns processos da primeira fase de avaliação, houve maiores disparidades entre avaliadores do que é corrente».

E recomendam à FCT que controle «rigorosamente» a qualidade da avaliação, realizando a revisão da análise feita às unidades entre as quais «existe disparidade» entre a avaliação numérica e a decisão de passagem à 2.ª fase.

Do total das 322 unidades avaliadas num escrutínio que tem recebido críticas de vários quadrantes, 52% passaram à 2.ª fase e outras 26% obtiveram a classificação de Bom, assegurando um financiamento base.

Segundo a FCT, as unidades que passaram à 2.ª fase, e que podem ver o financiamento base acrescido de financiamento estratégico, «comportam dois terços dos investigadores que integram as unidades em avaliação».

Outra preocupação transmitida pelos presidentes, que não estiveram envolvidos no processo de avaliação, respeita aos domínios em que nenhuma unidade de investigação passou à 2.ª fase, o que «pode ter como consequência o desaparecimento de algumas áreas disciplinares do Sistema Científico e Tecnológico Nacional, com consequências graves».

Também aqui os especialistas recomendam que a FCT promova uma «reflexão cuidada», que contemple um trabalho com estas áreas de modo a serem encontradas soluções de «robustecimento» das candidaturas.

Os presidentes dos conselhos científicos defendem ainda a necessidade de uma avaliação do resultado dos concursos abertos nos últimos anos de projetos, programas doutorais, bolsas de doutoramento e pós-doutoramento, infraestruturas de investigação e Investigador FCT.

«Torna-se agora importante que se observe o resultado da totalidade destes concursos e se verifique o que existe, o que se quer recuperar e o que se pretende reconstruir», de modo a possibilitar as correções necessárias para melhorar o sistema, salientam.

A carta para Miguel Seabra aconselha uma melhor explicitação das fases seguintes do processo de avaliação das unidades de investigação de modo a clarificar pontos como formato e propósito da visita dos avaliadores e aspetos em observação, a constituição dos painéis dos avaliadores, «assegurando a adequação curricular» dos seus membros às áreas que vão analisar, os resultados das visitas e a coerência interna do processo.

O documento está assinado por João Carlos Marques (Ciências Naturais e Ambiente), João Costa (Ciências Sociais e Humanidades), Jorge Soares (Ciências da Vida e da Saúde) e Manuel Carrondo (Ciências Exatas e Engenharia). 

Waking Up to Science with Hands-on: Science Activities in the Kindergarden and in Primary School

Resumo da minha intervenção amanhã no Congresso Internacional sobre Hands on Science na Universidade de Aveiro:

 It is now widely accepted that a complete citizenship requires basic scientific literacy. In spite of some good projects and practices, there is still a lack of science education activities in kindergarten and in the early years of primary school. This fact may be the reason for difficulties and aversion to science in later years. To overcome this problem it seems necessary to promote better science training of educators and teachers. An increase of familiarity with science will enable teachers to offer their students a variety of hands-on simple and affordable materials, as it was shown by the Portuguese "Ciência Viva" project documented in the book series "Playing Science" (published by Bizâncio). In this project all sections start with a question, whose answer is achieved by doing an experiment. Parents may also contribute to develop the engagement of their children, since all these activities are feasible at home. Children are certainly not the problem: they are very curious and get easily involved whenever they are asked to perform science activities with objects they can touch and play with. Science education may and should, therefore, start in a ludic way. Even in later years, an excitement element in science learning may be provided by scientific toys. 

CENTROS DE QUÍMICA DE NORTE A SUL APONTAM O DEDO À INCOMPETÊNCIA DA FCT

Representantes de vários Centros de Química nacionais , espalhados por todo o país (Vila Real, Braga, Évora e Faro), escreveram ontem um artigo de opinião no Público onde respondem à pergunta: "Foi rigorosa a avaliação das unidades de investigação promovida pela FCT?". A resposta é, infelizmente, negativa, como neste momento a grande maioria dos investigadores nessa e noutras áreas já sabe. Dadas as enormes audiência deste blogue nos tempos mais recentes, coloco aqui o link aqui para aumentar a difusão na comunidade científica e na opinião pública:

http://www.publico.pt/ciencia/noticia/foi-rigorosa-a-avaliacao-das-unidades-de-investigacao-promovida-pela-fct-1663416

MISSÃO FCT: HIPOTECAR O FUTURO DA CIÊNCIA EM PORTUGAL

 Comunicado so SNESUP: Sindicato Nacional do Ensino Superior, divulgado na sua newsletter:

"No passado dia 14 de julho, o SNESup reuniu, na Faculdade de Ciências da Universidade de Lisboa, com Unidades de I&D Nacionais que não passaram à segunda fase do concurso de Avaliação das Unidades I&D promovido pela Fundação para a Ciência e Tecnologia (FCT).

 

A reunião visou analisar e debater os motivos subjacentes ao facto da FCT, através de um concurso encomendado à European Science Foundation (ESF), ter descredibilizado o sistema científico nacional, o qual de acordo com indicadores científicos referenciados pelas mais prestigiadas bases internacionais de ciência (e.g. Scopus, Web of Science) apresentou um crescimento de 43% nos entre 2008 e 2012, bem como os motivos subjacentes uma contestação pública à direção da FCT por não ter sido capaz de conduzir o processo de avaliação das Unidades de I&D de um modo rigoroso, isento e justo.

 

Nesta reunião estiveram representadas cerca de duas dezenas Unidades de Investigação e muitas outras fizeram chegar, por e-mail, ao SNESup, uma mensagem de apoio à nossa iniciativa, e que por impossibilitados de estarem presentes na reunião enumeram os motivos pelos quais estavam perplexos com a falta de qualidade e rigor do sistema de avaliação promovidos pela FCT.

 

Cada um dos presentes apontou os Erros grosseiros que haviam sido cometidos na avaliação da sua Unidade I&D tendo sido unânime que o modelo de avaliação das Unidades I&D adotado pela FCT não teve subjacente critérios explícitos objetivados em parâmetros de reconhecida qualidade científica definidos para cada uma das áreas do conhecimento revelando-se por isso injusto, desastroso e indigno para a Investigação Científica Portuguesa e para democracia República Portuguesa.

 

Foi ainda decidido congregar esforços para desenvolver iniciativas com o objetivo de suspender o atual processo de avaliação e implementar outro pois todos concordam com a necessidade e a urgência de um sistema de avaliação transparente e justo que garanta a equidade entre as várias instituições, áreas científicas e coesão territorial.

 

Colheram ainda favoravelmente entre os presentes as seguintes iniciativas, que contarão com o apoio incondicional do SNESup:

1) Tornar públicos todos os documentos de avaliação produzidos pelos vários avaliadores contratados pela FCT para salientar a natureza dos Erros Grosseiros que foram cometidos durante a primeira fase do processo de avaliação;

 

2) Solicitar ao Ministro da Educação e Ciência a suspensão da segunda fase do processo de Avaliação da Unidades I&D até que todas as dúvidas e erros cometidos na primeira fase do processo de avaliação sejam corrigidos, evitando-se assim que os impactes negativos de um processo de avaliação desastroso para o desenvolvimento I&D em Portugal, da atividade dos professores e investigadores e do futuro das Instituições do Ensino Superior Português se prologuem até 2020;

 

3) A análise das diferentes formas de, por via judicial, promover a suspensão do processo de Avaliação através do apoio jurídico do SNESup e depois apresentar essa análise às Unidades de I&D que se sentem prejudicadas pelo atual processo de avaliação promovido pela FCT."

SNESUP