quinta-feira, 31 de julho de 2014

MAIS UMA RESPOSTA AO ESCLARECIMENTO NADA ESCLARECEDOR DA FCT

A resposta de Orlando Oliveira, professor de Física da Universidade de Coimbra, ao email de "esclarecimentos" enviado pela FCT:

Caro Sr. Presidente da FCT,

Li com atenção o texto que me enviou e, no caso particular do centro a que pertenço, não reconheço a validade do que afirma no texto enviado face aos critérios e ao resultado da avaliação. No que toca ao centro a que pertenço, o relatório dos avaliadores contém erros grosseiros, que não abonam nada a favor da tal robustez que reclama. Mais, no que toca à área da Física, tive o cuidado de efectuar uma análise dos dados bibliométricos (sim, sei que não traduzem tudo) e, em face desses dados, os critérios usados para a passagem à segunda fase só me conseguem gerar repulsa. Diria mais: algumas das vossas declarações são, para dizer o mínimo, desonestas. Parece que foi a actual direcção que descobriu a roda. Seria engraçada, se não fosse dramática, a forma como caracterizam todo o processo anterior de avaliação.

Atentamente,

Orlando Oliveira
Centro de Física Computacional
Departamento de Física, Universidade de Coimbra, Portugal

O ESCLARECIMENTO DO ESCLARECIMENTO DA FCT

Na passada quarta-feira dia 30 de Julho, a direcção da Fundação para a Ciência e Tecnologia resolveu enviar uma mensagem de correio electrónico aos investigadores da sua base de dados, para prestar"esclarecerimentos" acerca do processo de avaliação em curso. Infelizmente o esclarecimento não é nada esclarecedor, fica aqui o esclarecimento do esclarecimento, por Paulo Jorge Dos Santos Coelho, Director do Centro de Química – Vila Real.

Exmo Presidente da FCT
Achei uma boa ideia este esclarecimento mas não posso deixar de manifestar a minha discordância com as explicações fornecidas

Não é verdade que esta avaliação esteja a conduzir à destruição do sistema de instituições de I&D em Portugal.
ERRADO. Várias unidades classificadas anteriormente várias vezes como Excelentes ou Muito Bom viram a sua classificação baixar sem fundamentação adequada para Fair ou Bom. A qualidade delas não baixou drasticamente, esta avaliação é que foi mal conduzida. Isto significa a destruição, sem sentido, de muito do que foi construído nos últimos 20 anos.

É verdade que a FCT se disponibilizou para apoiar as unidades que não passaram à segunda fase
Isto é lançar areia para os olhos. A enorme contestação que surgiu resulta dos erros grosseiros desta avaliação. Quem foi mal avaliado não quer migalhas para se reestruturar, quer sim ser correctamente avaliado. Não é só a questão da nota, é simplesmente ser avaliado com justiça, o que não foi manifestamente o caso.

É verdade que os pedidos de Audiência Prévia recebidos serão todos analisados pelos painéis de avaliação.
Eu espero sinceramente que haja abertura para analisar, sem preconceitos, os pedidos de Audiência Prévia, o que não aconteceu na fase de Rebuttal onde estes comentários foram simplesmente ignorados. Tinham-se evitado muitos problemas se tivesse havido abertura para os ler cuidadosamente e reflectir sobre o que estava a acontecer.

Não é verdade que o contrato assinado entre a FCT e a European Science Foundation(ESF) exclua automaticamente metade das unidades da segunda fase da avaliação.
Pois não parece. Os relatórios de consenso parecem encomendados para se adaptarem às notas já decididas. Em muitos casos o painel limitou-se a enumerar as ligeiras críticas que os avaliadores tinham escrito, ignorando todos os elogios. Se as notas não foram decididas antes de escrito o texto parece. Aliás, há muitos casos em que depois de receber 3 notas acima de 16, incluindo a do membro do painel da área, o painel, juntando os membros que não são da área, decide baixar a nota para 14, 13 e 12. Ás vezes as notas contam, outras não. Isto não parece nada uma avaliação robusta. Parece tudo arranjado à medida. Ninguém entende a lógica.

Não é verdade que a FCT tenha imposto restrições para qualquer área científica ou região geográfica.
Mais uma vez não parece porque as unidades mais pequenas do interior foram dizimadas, apesar de cumprirem todos os requisitos legais, sendo aliás criticadas e penalizadas por serem pequenas (mesmo com mais de 25 investigadores).

Não é verdade que esta avaliação esteja a deixar sem trabalho ou a forçar à emigração milhares de investigadores.
Os investigadores não docentes das 150 unidades eliminadas vão abandonar as mesmas.

É verdade que este é o primeiro exercício de avaliação em que todas as unidades de I&D são avaliadas de forma competitiva, com igualdade de critérios e de oportunidades de financiamento, independentemente da sua dimensão ou estatuto jurídico.
ERRADO. Não houve equidade. As unidades não foram avaliadas pelas mesmas pessoas. Cada unidade foi avaliada por avaliadores externos diferentes e desconhecidos e o relatório de consenso não foi feito pelas mesmas pessoas para cada área, dado que a FCT diz que cada grupo de 4 avaliadores avalia 10 unidades. Ora há áreas com mais de 10 candidaturas. Isto não é equidade.
A avaliação de 2007 foi bem melhor. Pode-se não concordar com a nota mas não houve na altura esta sensação de profunda injustiça, incompetência e arbitrariedade.

Não é verdade que as unidades não tenham sido avaliadas por especialistas na sua área científica.
FALSO. É evidente que não foram. Se o painel final das ciências exactas tem, físicos, químicos, matemáticos, especialistas em nanotecnologia, biotecnologia, etc, é evidente que houve avaliadores de outras áreas científicas a pronunciarem-se sobre o que não deviam. Não é aceitável ter um matemático a opinar sobre química. Eu não confundo “domínio científico” com “área científica”. No painel de Ciências exactas só há 2 Químicos.
Aliás a vossa explicação começa mal e contradiz a afirmação inicial “Cada unidade foi avaliada inicialmente por três avaliadores independentes, dos quais no mínimo dois são especialistas na área de investigação da unidade” Se são no mínimo 2 há 1 que não é da área logo as unidades foram, de facto avaliadas, por quem não devia.

Não é verdade que as unidades tenham sido avaliadas por um júri secreto.
FALSO. A identificação dos avaliadores remotos não foi fornecida e aqui começaram os problemas tal a ordem de disparates que eles escreveram. Enquanto que a FCT está confortável com 20% de casos de notas díspares iniciais, eu não estou. Não aceito enganar-me na correcção de 20% dos meus exames. Nem 1%. Se alguém me aponta um erro trato logo de o investigar. Nesta avaliação temos demasiados erros grosseiros para estarmos confortáveis e até dizer que a “avaliação da ESF está acima de qualquer suspeita
Vejamos um caso concreto da robustez desta avaliação:
Na área da Química o Centro de Química – Vila Real obteve a nota 3 na avaliação curricular, objectiva e baseada na bibliometria, e foi excluído. Mas os centros que têm índices bem menores obtiveram 4 e passaram. Vejamos atentamente:
O CQVR apresenta todos os índices (excepto 1 que está próximo), melhores do que 3 das unidades aprovadas.
Estudo bibliométrico de 4 unidades da área de química. Fonte: FCT
Centro
Pub
/FTE
Cit
/FTE
h
Impact
Top-1% /FTE
Top-5% /FTE
Top-10% /FTE
Top-25% /FTE
Int Col
/FTE
A:
Resultado
CQVR
14.08
138.84
24
1.362
0.22
1.04
2.88
6.8
6.24
3
GOOD
Coimbra
11.86
84.94
25
0.989
0.04
0.5
1.64
6.08
5.72
4
2ª Fase
CQB
(Lisboa)
11.9
102.02
30
1.102
0
0.66
2.4
6.5
4.3
4
2ª Fase
Hércules Lab
4.54
23.98
9
1.028
0
0.18
0.28
1.66
0.84
4
2ª Fase


É esta a robustez da avaliação?
Num jogo de Futebol que termina 7-4 devemos dar os parabéns a quem marca 4, que esteve muito bem e passa à fase seguinte, e dizer a quem marca 7 que deve reestruturar-se porque assim não vão lá!
Consegue-me explicar porque razão, com índices melhores tivemos 3 enquanto que as outras unidades com índices piores tiveram 4 neste item objectivo? Agradecia uma explicação.

Aliás os tão elogiados avaliadores até conseguem concluir que para a minha unidade:
The impact in terms of citations is somewhat more limited”.
Devem estar a gozar não? Então nós com 138 Cit/FTE temos um impacto mais limitado que as outras 3 unidades que têm valores bem inferiores (84, 102, 24) e que obtiveram a nota 4 e passaram?

Sr Presidente:
Ainda há tempo para corrigir os erros grosseiros mas tem de haver vontade de fazer justiça. Não podem penalizar as unidades mais produtivas em detrimento das menos produtivas. Não consigo entender a lógica disto.
Toda a gente comete erros mas reconhecer a sua existência é o primeiro passo para os corrigir. Insistir cegamente que esta avaliação correu muito bem é autismo.
Paulo Coelho
Director do Centro de Química – Vila Real

quarta-feira, 30 de julho de 2014

JUDEUS PORTUGUESES

Apresento aqui o último livro de Miriam Assor: uma colecção de mini-biografias de grandes judeus portugueses.

É altura de recuar, Nuno Crato e Leonor Parreira

Artigo de Joaquim Norberto Pires, que foi membro do Conselho Nacional para a Ciência e Tecnologia (CNCT) e Presidente do Comissão de Coordenação e Desenvolvimento Regional do Centro (CCDRC): 

A ciência faz-se passo-a-passo, exige dedicação, muito esforço, resiliência e capacidade de sofrimento. Não há resultados garantidos e o mais certo é a falha. Os resultados aparecem depois de muitas falhas, depois de muitas desilusões, depois de muitos outros resultados menos animadores. Fazer ciência com qualidade é ter licença permanente para falhar, porque o objetivo é conhecer melhor aquilo que se conhece mal, é explicar um pouco melhor aquilo que não sabemos explicar e com isso evoluir como civilização compreendendo melhor o mundo em que vivemos. A ciência é fundamental, até para a economia, porque dos seus resultados, ou seja, do conhecimento gerado, podemos desenvolver melhores soluções para os problemas que nos afligem, para debelar doenças, para construir novos produtos, para desenvolver soluções inovadoras para a indústria, para gerar novas indústrias e oportunidades de negócio, em suma, para melhorar a nossa vida, criando valor e emprego. A ciência é o mais fantástico motor de desenvolvimento que conheço.

Fazer ciência, gerar conhecimento e ser capaz de gerar vantagem económica dessa atividade, é crucial para um país pequeno como Portugal que não tem recursos naturais capazes de alavancar o crescimento e desenvolvimento de todo o país recuperando o atraso para a média europeia. Por isso, a aposta na ciência é decisiva e tem de estar suportada em políticas públicas bem desenhadas com objetivos claros e bem definidos, bem suportadas em mecanismos de financiamento de longo-prazo, bem avaliadas com critérios claros e muito exigentes, continuadas no tempo e que sejam objeto de compromisso nacional.

A clareza, a transparência e a forma como são tratadas as pessoas que resolvem e têm qualidade para ser cientistas, bem como as estruturas em que se organizam, é absolutamente crítico para o futuro do país, constituindo uma obrigação do Estado e, portanto, de quem é eleito para governar e assim administrar os recursos económicos e financeiros que são de todos.

Em Portugal a política científica, isto é, a forma como o país decide apostar em ciência e tecnologia, é essencialmente definida através da Fundação para a Ciência e Tecnologia (FCT). Não é a única fonte de financiamento da ciência, mas é na FCT que está a chave da política científica nacional. É da política definida pela FCT, da forma como decide suportar quem faz ciência em Portugal, que resulta o edifício científico e tecnológico nacional e se desenvolve a capacidade de ter sucesso na procura de outras fontes de financiamento complementares: indústria, financiamento europeu, etc. Por isso é muito importante manter estruturas de ciência e tecnologia, garantindo a sua avaliação rigorosa e avaliando o seu impacto nacional e internacional, porque sem elas é impossível obter financiamento competitivo, e bem mais interessante, resultante de fundos europeus e/ou contratos industriais. Não ser capaz de compreender isto tem um efeito letal nesse fabuloso motor de desenvolvimento que é a ciência, o qual será muito difícil de recuperar se for sequer recuperável.

Dou-vos um exemplo. O Centro de Engenharia Mecânica da Universidade de Coimbra (CEMUC), do qual faço parte, teve, segundo as regras definidas pela FCT, a avaliação de "Excelente" (nota máxima) nos três últimos ciclos de avaliação. Em Outubro de 2013 (ainda nem passou 1 ano), a FCT preocupada com a estratégia seguida pelos vários centros de ciência em Portugal, resolveu, e muito bem, avaliar as opções científicas de médio e longo-prazo estabelecidas pelos vários centros. Ao CEMUC foi atribuída a nota máxima, ou seja, "A". Desde a última avaliação de 2011, bem como desde a avaliação de estratégia de 2013, os índices de performance do CEMUC aumentaram, isto é, melhoraram os seus resultados usando os indicadores definidos pela própria FCT.

Apesar disso, na avaliação de 2014, em curso, o CEMUC não passou à 2.ª fase tendo obtido a classificação de "Suficiente" ("FAIR"), o que compromete decisivamente o seu futuro porque lhe remove todo o financiamento de base. Apesar de o CEMUC ter imediatamente alertado para a avaliação muito deficiente, feita sem uma simples visita às suas instalações e tendo por base uma leitura muito ligeira e errónea dos relatórios, apontando com clareza e sem margem para dúvidas as falhas de avaliação, as inaceitáveis conclusões porque contrariadas pelos factos constantes nos relatórios apresentados, e para a inconsistência de um procedimento de avaliação de um centro com histórico recente de excelência, cuja estratégia foi avaliada pela própria FCT como adequada e merecedora de nota máxima, de nada valeu ficando o centro com a sensação que nada do que disse foi considerado ou sequer lido.

Ora, a ciência gosta e exige avaliação rigorosa, feita por pares que demonstraram ser capazes de ser cientistas ao mais alto nível (não basta ter avaliadores que são selecionados por uma instituição com um nome pomposo, é preciso que eles tenham um curriculum científico e técnico reconhecido e devidamente avaliado). A ciência gosta e exige ser confrontada com os seus resultados e com a sua estratégia, tendo por base regras claras que façam algum sentido e reflitam a necessidade já explicada de continuidade. A ciência não gosta de amadorismo, de falta de visão de longo prazo, de falta de transparência, de falta de clareza e de rigor. A ciência não sobrevive a isso. É disso que estamos a falar, de a matar.

É altura de recuar, Nuno Crato e Leonor Parreira. É altura de reconhecer que foram cometidos demasiados erros neste processo e, aproveitando o que foi feito, ser capaz de perceber que o que está em causa é demasiado importante para o futuro do país. Eu sei que terão o bom-senso de atuar e corrigir o mal que foi feito e que ainda pode ser corrigido.

J. Norberto Pires


ANDRÉ FREIRE: A destruição do sistema científico e universitário nacional

Excerto de um artigo de opinão do politólogo André Freire, publicado hoje no PÚBLICO:

Num cenário de fraco investimento relativo na ciência, em termos comparativos, e de bom desempenho do sistema em termos evolutivos, seria de esperar que não houvesse grandes mudanças nas grandes orientações da política cientifica da maioria de direita face à do PS. Mas a realidade aponta na direção oposta, nomeadamente nas alterações substanciais nas regras de financiamento das unidades de investigação e nos processos da sua avaliação. 


Texto completo aqui.

A ROBUSTEZ DA AVALIAÇÃO NAS PALAVRAS DE MIGUEL SEABRA

"Há avaliadores que dão um 19, mas criticam, criticam, e o 19 acaba por corresponder a um 12 ou um 13."

"Enquanto que há outros que dão um 19, mas não justificam de maneira nenhuma porque é que aquela unidade é boa. Olhe, gostei muito da candidatura..."

Aqui, a partir do minuto 41.

O mistério dos árbitros desaparecidos

Mais um artigo do investigador no estrangeiro devidamente identificado, que nos pediu o anonimato:

Num artigo de opinião publicado recentemente no jornal Público, a Professora Maria de Sousa afirma que ninguém poderia esperar uma avaliação como esta da parte da European Science Foundation (ESF), referindo-se em particular à grande disparidade de classificações encontrada.

Antes de avançarmos para as razões pelas quais a primeira fase da avaliação correu como já todos sabemos, e tentar elucidar a questão levantada acima, convém apontar que a ESF ficou ferida, se não de morte, pelo menos muito próximo disso, com uma das gestões que teve na última década. Um aumento de custos administrativos, juntamente (como consequência?) com o abandono do financiamento de novos projectos de redes europeias de investigação, fez com que tivesse de procurar outras razões de existir. Não sabemos (nem é particularmente relevante para esta análise) se foi nessa altura que decidiu auto-intitular-se de especialista em avaliações, mas o que é um facto é que alguns dos textos que podemos ler na sua página web sobre o seu papel nesse campo soam a auto-promoção do tipo da que é possível encontrar na publicidade das empressas de consultoria.

Mas tem, de facto, razão a Professora Maria de Sousa ao questionar-se sobre como é possível encontrar tantos erros básicos numa avaliação a este nível, quando (praticamente) qualquer um de nós os consegue ver imediatamente.

Um dos problemas que vários investigadores têm apontado prende-se com a não existência de um conjunto suficientemente alargado de peritos em cada área científica por forma a cobrir apropriadamente todas as sub-áreas existentes, e que em simultâneo tenha uma visão global de todas as propostas a concurso nessa área. O envio para avaliadores remotos resolveria, de acordo com o tandem ESF/FCT, o primeiro problema. Isto não é correcto, porque a questão de ter todas as sub-áreas representadas no painel não é apenas puramente científica, destinando-se também, e de forma igualmente ou até mais importante, a equilibrar as decisões, corrigindo enviezamentos que possam ser introduzidos por um painel extremamente reduzido e focado em poucas sub-áreas.

Isto está presente de forma exemplar no modo como os relatórios de consenso foram elaborados em muitos dos casos em que o painel divergiu da opinião dos árbitros externos. Como várias das unidades afastadas da segunda fase nestas condições poderão verificar na informação que lhes foi enviada pela FCT, o relatório de consenso consistiu em fazer um pouco de cherry picking dos três relatórios apresentados, retirando apenas os conteúdos que serviam o propósito pretendido. Nalguns casos, essa escolha resumiu-se mesmo ao copy-paste de partes dos relatórios, excluindo frases que não davam jeito e, pelo menos nalgumas situações, excluindo completamente o árbitro externo que tinha atribuído a nota mais elevada.

As regras iniciais

Como é que foi possível que os membros do painel pudessem, de facto, ignorar um ou até mesmo os dois relatórios externos sem que ninguém tivesse dado por isso até à publicação dos resultados? O processo de avaliação proposto pela ESF era tão deficiente que não pressuponha um controlo de qualidade a este nível? Como já escrevemos aqui, o papel da ESF nesse capítulo pareceu reduzir-se à recolha dos relatórios. Será que isso é possível?

Consultemos mais uma vez o contrato para ver em que termos é que a ESF se comprometeu a fazer a avaliação. O anexo B consiste, de facto, no Guião de Avaliação datado de 31 de julho de 2013, é o mesmo que pode ser encontrado na página da FCT, e foi o que estava em vigor tanto quando encerrou a entrega de candidaturas como quando o contrato foi assinado (7 de Abril pelo Chefe Executivo da ESF, 10 de Abril pelo Presidente da FCT – estas datas são relevantes no que se segue).

No topo da página 13 desse guião é indicado que

Up to 5 individual reviews will be remotely prepared for each application, according to the evaluation criteria of the 1st stage of the evaluation (see section 3. “Evaluation Criteria and Scoring System”).”

Estaremos a falar da mesma avaliação? No mínimo, e a não ser que tenha havido uma adenda ao contrato, a FCT pode reclamar uma redução nos custos, já que em todos os casos o número de árbitros remotos foi apenas de dois e, se contarmos o relatório interno, três.

Com 5 relatórios de árbitros minimamente conceituados já se consegue atingir um certo grau de fiabilidade para construir uma ideia realista da unidade a ser avaliada. É também possível começar a perceber o que é um outlier, caso existam, e qual a opinião consensual sobre essa unidade.

Aliás, damos aqui a palavra ao actual Secretário de Estado do Ensino Superior. Numa intervenção a propósito do processo de avaliação, que teve lugar no Teatro Thalia a 11 de Abril deste ano no encontro “Indicadores de Desempenho para a Ciência e Ensino Superior”, José Ferreira Gomes afirmou que (transcrição livre)

“A avaliação por pares tem problemas muito complicados. Para começar o primeiro é um problema de consistência. Uma avaliação por um par não chega a ser par. Muitas vezes faz-se a avaliação por duas pessoas, por dois pares, e é o mínimo que se costuma fazer, mas todos os estudos académicos mostram que antes de chegar a 5 ou 6 avaliadores e tratar estatisticamente os resultados de 5 ou 6 pares, que os resultados são muito imprevisíveis, muito aleatórios.

Podera haver algumas variações nas palavras exactas, mas quem quiser pode ver toda a intervenção, na terceira parte, entre os minutos 10:00 e 11:55.

O Secretário de Estado também afirmou que

“E nenhum sistema no mundo utiliza sistematicamente 5 ou 6. Todos os sistemas sabem que têm de trabalhar no fio da navalha, com a incerteza (quase ninguém usa sistematicamente 5 ou mais avaliadores). Esta incerteza é muito grave quando se trata de avaliações individuais (projecto, investigador). É de admitir que seja muitíssimo menos grave quando se trata de avaliação de grandes grupos.”

Não podemos deixar de notar que a única parte em que refere estudos, estes aconselham a utilização de mais de 5 ou 6 avaliadores. Não só o resto parece ser apenas uma opinião não substanciada, como não se percebe porque é que para grupos grandes se pode ter menos avaliadores nem porque é menos grave. A dizermos alguma coisa, seria precisamente o contrário, ou seja, que para grupos grandes deveria ser importante haver mais especialistas uma vez que há mais tópicos a cobrir. Quanto a ninguém usar sistematicamente 5 ou mais avaliadores, temos pelo menos o caso da FCT nas avaliações anteriores.

Confessamos ter dificuldades em não reparar na data da intervenção e nos números escolhidos, embora aceitemos que se possa tratar apenas de coincidências.

Voltando à situação presente, o que está proposto no que ficou contratualizado com a ESF, embora não resolvendo o problema do facto do poder de decisão final estar concentrado num grupo restrito, poderia pelo menos contribuir para uma certa estabilidade.

Mas a ESF propunha ainda outra medida para um controlo do processo. Esta medida pode ser encontrada na mesma página 13, na descrição sobre os Relatórios de Consenso:

“One member of the workgroup will be designated the coordinator of the workgroup, while the remaining three members will be designated to elaborate the consensus reports for a given number of applications (the experts suggested by each R&D Unit will not coordinate nor write the consensus reports, but should also take part in the discussions).”

Mais uma vez, é possível reconhecer aqui o que de facto se passou na avaliação? Terão os peritos sugeridos pelas unidades tomado parte na discussão que levou à elaboração dos relatórios finais de consenso que decidem se as unidades passam ou não à segunda fase?

Na maior parte, se não na totalidade dos casos, as unidades terão proposto como árbitro pessoas que não só eram especialistas na área em causa como conheciam bem o seu trabalho. Alguém da sua comissão de acompanhamento, por exemplo. Ao participar na discussão com vista à preparação do relatório de consenso, este investigador teria um papel fundamental para credibilizar a avaliação e para esclarecer pontos que fossem menos claros. Seria o garante do controlo de qualidade do processo. Ao excluí-lo, deixou-se o sistema em cadeia aberta.

A mudança das regras no fim do jogo

Como é que se explicam estas discrepâncias entre as regras descritas no contrato e no guião de avaliação, o qual, recordamos, era o que estava em vigor aquando da submissão de candidaturas? E o qual, recordamos também, foi o que resultou da discussão com as unidades e que todos assumimos determinar as regras a ser seguidas aquando das candidaturas?

A resposta é muito simples: a 29 de abril de 2014, ou seja, já depois dos painéis estarem a desenvolver o seu trabalho, e apenas um dia antes de terminar o prazo para a comunicação dos textos dos árbitros remotos ao painel (Contrato, página 8 do Anexo A), a FCT publicou aquilo que chamou de Additional Information (?) e onde partes do processo de avaliação e, em particular, a referência ao número máximo de relatórios remotos foi suprimida e a descrição da elaboração dos relatórios de consenso foi re-escrita!

Deixou de haver qualquer menção aos cinco árbitros, sendo o texto agora o seguinte (página 3):

“Two external referees (subject-specific review)
For each application, two external referees will be identified and appointed by the European Science Foundation; one of these may be suggested by the research unit itself (when absence of conflicts of interest and appropriate expertise have been acknowledged). These experts should complement each other and hold detailed expertise that allows thoroughly considering the science put forward in the application. They should also have some experience in management of science teams/units. The external referees will provide their assessment online and will not participate to any face-toface meeting.”

É verdade que dois árbitros satisfazem a condição de serem menos do que quatro, e isto assumindo que os cinco já incluiam à partida um dos relatórios elaborado por um elemento do painel. Mas no mínimo poder-se-ia classificar o que estava no contrato e no guião como uma espécie de publicidade enganosa – uma agência de financiamento pública não se pode dar a esse luxo.

E o que sucede com os chamados relatórios de consenso? Ficam reduzidos a uma discussão presencial de membros do painel, para depois o chamado lead rapporteur poder elaborar o relatório de consenso:

“The Review panels will meet physically, discuss each application and reach consensus […]. After the discussion, the lead rapporteur will produce the final consensus report.”

Desapareceu toda e qualquer menção à participação do árbitro indicado pela unidade, mesmo que remotamente, na discussão que levaria à elaboração do relatório de consenso, o qual por sua vez e como já sabemos, determina ou não o afastamento da segunda fase.

Ao ter alterado as regras do jogo depois da fase das candidaturas, depois da elaboração dos relatórios, depois da assinatura do contrato de prestação de serviços, o tandem ESF/FCT não só quebrou de forma inaceitável tudo o que é expectável num processo desta natureza, como, na prática, retirou ao processo a possibilidade de auto-correcção antes da publicação dos resultados e de produzir uma avaliação minimamente estável.

Só que essa avaliação não seria nunca compatível com o resultado que a actual direcção da FCT pretendia obter: que 50% das unidades a concurso deviam ser eliminadas. Tudo o que se seguiu é consequência dessa ideia fixa que pretende que é possível dividir os investigadores de um país num grupo superior e noutro que é, pura e simplesmente, mediocre, com a agravante (se fosse preciso), de pressupor ainda que os primeiros e os segundos estão em unidades de investigação distintas.

A solução

Pensamos que a resposta a dar à Professora Maria de Sousa passa pela reformulação da pergunta. A surpresa é como é que a ESF permitiu à FCT a alteração das regras, em plena avaliação, com os painéis já a trabalhar e a cerca de dois meses da publicação dos resultados da primeira fase. E como é que os painéis aceitaram participar nesta farsa, embora se deva dizer que, provavelmente, a maioria dos membros dos painéis não tem uma visão global do processo.

As grandes diferenças entre classificações, por exemplo, são apenas um sintoma. Se tivesse havido um máximo de 5 relatórios como previsto à partida, poderia ter havido conjuntos de classificações com variações com a mesma amplitude que tivemos, sem que isso causasse grande espanto – sim, o número de relatórios era até 5, mas o deixar aberto poder ir até esse número era precisamente para evitar ter de resolver situações como uma sequência 19-17-11 de forma ad hoc. Se o objectivo fosse fazer uma avaliação competente, pedia-se mais dois relatórios nos casos mais complicados. A questão a levantar aqui não será tanto como é que é possível haver uma discrepância tão grande, mas sim saber onde é que estão as outras duas notas.

Um grupo de classificações como 19-17-11-18-16 já não causaria muito espanto, apesar de a variação entre as notas mais alta e mais baixa ser a mesma. Dever-se-ia, obviamente, ver o que o árbitro que tinha dado 11 tinha a apontar de tão negativo, mas apareceria logo à partida como um outlier. As suas razões poderiam ser tidas em conta para não dar uma média (arredondada) de 18 (as das restantes quatro notas), mas também não devia ser considerado para dar uma média final de 16, o que sucederia se se considerassem em pé de igualdades as cinco notas – para já não falar em dar uma classificação de 14. Obviamente que nada disto se aplica se as classificações forem apenas 19-17-11, por exemplo, em que podemos ficar na dúvida. Com a agravante que já sabemos que aquele último 11 é artificial.


Ao fixar quotas, a FCT alterou o propósito de todo o processo. Em vez de uma avaliação independente para determinar quais as unidades competitivas, o objectivo principal de cada painel passou, a partir de certa altura, a ser como determinar os 50% de centros a eliminar. E esse objectivo era incompatível com as regras fixadas inicialmente, pelo que estas tiveram de ser alteradas.

Vinte e seis unidades de investigação chumbadas pedem suspensão de avaliação

Transcrevemos a notícia publicada no Jornal i:

Pelo menos 26 unidades de investigação chumbadas na avaliação pedem, em carta dirigida ao ministro da Educação e Ciência, a suspensão do processo, por entenderem que houve "comprovadas situações de prejuízo" e "falta de equilíbrio", informou hoje fonte sindical.

Representantes do Sindicato Nacional do Ensino Superior (SNESup) e do Sindicato dos Professores da Grande Lisboa (SPGL), que escreveram a missiva, subscrita por centros de investigação que não transitaram para a segunda fase, perdendo fundos na totalidade ou substanciais, vão tentar, na terça-feira, entregar em mão o ofício ao ministro Nuno Crato, no Ministério da Educação e Ciência, em Lisboa.

Romeu Videira, dirigente do SNESup com a pasta da política científica, disse que as unidades que assinaram a carta - a contagem ainda estava a ser feita à hora do contacto da Lusa - são, nomeadamente, das áreas das ciências exatas, das artes, de estudos clássicos, sociologia, filosofia e ambiente, e estendem-se de norte a sul do país (Lisboa, Coimbra, Aveiro, Beira Interior, Minho, Vila Real...).

Os subscritores pedem "a suspensão do processo, seguida de uma completa reavaliação das unidades de investigação e desenvolvimento, num quadro de paridade e justiça".

O Sindicato Nacional do Ensino Superior aguarda um parecer jurídico para decidir se avança com uma queixa no Ministério Público e promete dar apoio jurídico às unidades que possam vir a impugnar judicialmente a avaliação, após a apreciação dos recursos.

A avaliação em curso - já contestada, em fase de audiência prévia, por 128 unidades - eliminou da segunda fase quase metade das instituições submetidas ao processo, que baixaram este ano a classificação, perdendo na totalidade ou de forma significativa financiamento para despesas para os próximos cinco anos.

A comunidade científica tem apontado à avaliação várias irregularidades, como a falta de visitas às unidades e avaliadores com conhecimentos das áreas científicas a analisar e a definição de uma "quota" de quase 50 por cento de centros a passarem para a segunda fase, que lhes daria a possibilidade de obterem o grosso das verbas, sem teto máximo fixado.

A Fundação para a Ciência e Tecnologia, agência pública tutelada pelo Ministério da Educação e Ciência que subsidia a investigação, tem refutado as críticas, considerando a avaliação rigorosa, isenta, robusta e transparente e que está a cargo de uma entidade externa credível e experiente - a Fundação Europeia para a Ciência.

Há uma semana, os presidentes dos conselhos científicos da Fundação apontaram "casos de inconsistência" na avaliação, como centros que "tiveram boas avaliações quantitativas e qualitativas no primeiro conjunto de avaliação que não passaram à segunda fase", e alertaram para consequências graves do desaparecimento de algumas áreas do sistema, pedindo correções ao processo.

A suspensão da avaliação já tinha sido reclamada pelo Bloco de Esquerda e pelo reitor da Universidade de Lisboa, Cruz Serra, apesar de o Conselho de Reitores das Universidades Portuguesas ter pedido apenas correções, tal como o Conselho dos Laboratórios Associados, que representa 26 laboratórios, um dos quais, o Instituto de Telecomunicações, foi excluído da segunda fase, obtendo um financiamento residual até 40 mil euros anuais.

ESMOLA DE 6 MILHÕES PARA CALAR PROTESTOS NA CIÊNCIA ATRIBUÍDOS "NUM PROCESSO SIMPLES SEM SER ARBITRÁRIO"

O governo fez outra vez o que costuma fazer, na sequência de um processo de avaliação absurdo e opaco (basta ver que a quota de 50% de centros que podem passar à segunda fase ainda agora é negada pelo governo, apesar de constar do contrato entre a FCT e a ESF: é como estar no Castelo de S. Jorge a ver o rio e negar a existência da Ponte 25 de Abril).

Nuno Crato anunciou milhões, à semelhança do que fez na sequência da contestação avassaladora face aos brutais cortes nas bolsas de investigação. Milhões é sempre uma palavra mágica, para a maioria de nós, que nunca vimos um milhão, nem na conta bancária nem no valor do nosso património.

Este anúncio, à semelhança do anterior, é pura manobra de marketing político. Vejamos porque não resolve nada, só servindo para iludir:

1. Não resolve nenhum dos problemas causados pela má avaliação das unidades. Uma unidade mal classificada continuará mal classificada, e sem qualquer hipótese de ganhar concursos de financiamento para recursos humanos ou equipamentos, porque essa classificação conta nesses concursos. Como esses concursos foram alvos de cortes brutais e têm taxas de sucesso na ordem dos 10%, um centro classificado com Bom não terá qualquer hipótese em mais nenhum concurso. Como já foi dito Bom, na linguagem da FCT, significa péssimo.

2. Seis milhões de euros não é nada, comparado com o que perdem as unidades por terem uma má classificação. Se dividirmos os seis milhões pelos 154 centros arredados da segunda fase (e do grosso do financiamento) ficarão, em média, menos de 40.000€ para cada uma. Não dá para pagar uma bolsa de posdoc (de cujos concursos estas unidades ficam impedidas de ganhar). Um bom microscópio electrónico pode custar meio milhão de euros. Uma única única unidade bem classificada pode receber 20 ou 30 milhões de euros no seu financiamento plurianual. 6 milhões de euros, uma única vez, para 154 unidades é uma esmola, um bodo aos pobres.

3. E isto,presumindo que a totalidade das verbas do programa Incentivo 2015 só estarão disponíveis para as unidades que não passaram à segunda fase. E as outras? As outras estão arredadas desse financiamento? O incentivo é só para alguns? Haverá uma discriminação negativa dos excelentes e excepcionais? A FCT precisa de esclarecer isto com brevidade.

4. E não serão 40.000€ para cada unidade que não passa à segunda fase da avaliação. O Presidente da FCT afirmou que esse financiamento será atribuído do modo assim descrito:  “Esperamos que o processo seja simples, sem ser arbitrário". Estaremos a falar na "simplicidade" de aceitar simplesmente a avaliação em curso? A esmola é para os pobres que se "portarem bem"?

5. Também não é claro se estes seis milhões são realmente seis milhões adicionais ou se são apenas o financiamento normal do programa Incentivo (que existe desde 2013) e o que seu anúncio seja a velha táctica politiqueira de anunciar várias vezes os mesmos milhões. Já vimos essa táctica vezes sem conta.

6. Miguel Seabra afirmou ainda que estes seis milhões são para as unidades se "reestruturarem para aumentarem a possibilidade de receber um financiamento estratégico após a avaliação intercalar de 2017". Por um lado é patético pensar que as unidades se podem reestruturar com 40 000 euros. Se estivessem muito próximas da excepcionalidade desejada, não haveria razão para as chumbar, uma vez que o financiamento plurianual às unidades mais bem classificadas pode ser de vários milhões de euros.

7. Por outro lado, a posição da FCT é ofensiva. Há unidades chumbadas que não precisam de ser reestruturadas. Não está essa indicação em lado nenhum assim como não existe justificação para isso. Apenas precisam apenas e tão só de uma avaliação séria, pois foram chumbadas por uma arbitrária  imposição de quotas. O que precisa de ser reestruturado é a política do governo. Para a ciência e para outros sectores.

terça-feira, 29 de julho de 2014

Associação de investigadores critica avaliação da FCT

Chegou-me ao conhecimento este comunicado da ANICT, em que critica os processos de "avaliação" da FCT: https://anict.wordpress.com/2014/07/25/press-release-a-fct-e-os-seus-processos-de-avaliacao/

PROTESTO NACIONAL ENTREGUE AO MINISTRO

Informação recebida do SNESup:
 
Tal como anunciámos, foi hoje entregue no MEC, o pedido de suspensão do processo de avaliação das Unidades de I&D, por forma a que possa ser desenvolvida uma reavaliação das Unidades. Este pedido foi entregue por uma delegação composta por diretores de unidades de investigação, docentes e investigadores.
 
O pedido de suspensão foi também solicitado e entregue pelo  SNESup, SPGL-FENPROF, SPN-FENPROF, SPRA-FENPROF, ABIC e Plataforma pela Ciência.
 
A forma como todo este processo foi desenvolvido obriga a uma tomada de posição em defesa da ciência. Um ministro sério não pode passar de forma indiferente ao que se está a passar.
 
A indignação da comunidade académica e científica, bem como da sociedade em geral, demonstra que este é um processo extremamente grave. É necessário que seja completamente reapreciado, por forma a garantir o cumprimento dos princípios elementares, sob pena de denegrir o próprio conceito de avaliação.
 
A Direção do SNESup
Gonçalo Leite Velho
(Vice-Presidente da Direção)
 
SNESup - Sindicato Nacional do Ensino Superior
Associação Sindical de Docentes e Investigadores
www.snesup.pt

Um pote de dinheiro para a FCT

No dia 28 de Fevereiro de 2014, a Secretária de Estado da Ciência disse que a FCT não deveria andar a pedinchar dinheiro que nem um adolescente aos pais para sair à noite. Assim, e através do Despacho n.º 3859/2014 publicado no Diário da República, a Secretária de Estado autorizou a FCT a fazer despesas até um milhão e meio de euros sem perguntar nada a ninguém. Acrescentou ainda o seguinte, na parte final do despacho:

"6 — Consideram-se ratificados todos os atos que, no âmbito dos poderes ora subdelegados, tenham sido praticados pelo referido órgão desde 30 de novembro de 2013."

Terá sido desta que forma que a FCT enquadrou o ajuste directo que terá feito com a ESF para contratar o processo de avaliação das Unidades de Investigação. O governo deu à FCT um pote de dinheiro para esta gastar como quiser.

O GOVERNO ESTÁ À ESPERA DOS TRIBUNAIS PARA ANULAR A AVALIAÇÃO DAS UNIDADES?

A pseudo-avaliação das unidades de investigação está desmascarada. O que o governo está à espera para a anular imediatamente e repor as classificações anteriores, até que seja feita uma verdadeira avaliação em condições? De uma ordem de um tribunal? É certo que Nuno Crato parece ter uma predilecção especial por jogar nos limites da esgrima jurídica e judicial, como é bem patente na área da educação. Aparentemente quer também arrastar a ciência para o mundo dos tribunais e das providências cautelares. E isto para quê? Como mostra o voto de condenação apresentado pelo PS na AR, esta avaliação, no pior dos cenários, terá a validade que tiver esta legislatura.

segunda-feira, 28 de julho de 2014

REITOR DE LISBOA: "AVALIAÇÃO DAS UNIDADES DE INVESTIGAÇÃO DESTRÓI PARTE DO SISTEMA CIENTÍFICO"

Transcrevemos parte da entrevista ao reitor da Universidade de Lisboa, António Cruz Serra, publicada ontem no DN.


Qual é a sua posição relativamente a avaliação das unidades de investigação que esta em curso? 
Eu vi uma entrevista do presidente da Fundação de Ciência e Tecnologia em que dizia que havia uma maioria silenciosa que apoiava o processo de avaliação das unidades. Eu ainda não falei sobre o assunto, portanto farei parte da maioria silenciosa. No entanto, tenho uma opinião muito crítica relativamente a tudo aquilo que se passou no processo de avaliação das unidades de investigação. 

Porquê essa sua contestação? 
Há resultados incompreensíveis relativamente à avaliação das unidades com equipas técnicas. Em alguns painéis é de qualidade muito baixa para o que é exigido na avaliação das unidades e não consigo compreender que se tenha assinado um contrato de avaliação das unidades que estabelecia, à partida, que só passavam à segunda fase de avaliação metade das unidades de investigação existentes. 

Qual será o resultado? 
Vai traduzir-se na destruição de parte do sistema cientifico, pois não podemos introduzir descontinuidades no funcionamento do sistema. Isto é mais ou menos o mesmo do que se ter feito uma avaliação das universidades e ter-se decidido que metade das universidades não iam ser financiadas. 

É uma avaliação enviesada desde o início... 
É uma avaliação que, desde o inicio, tem um erro politico na decisão de como é que o processo vai andar. Lamentavelmente, foi-nos dito repetidamente que não havia esse constrangimento, só que a disponibilização pública do contrato que foi assinado com a European Science Foundation para fazer a avaliação das universidades tinha lá escrito que só iriam ser avaliadas na segunda fase 162 das 322 unidades de investigação. Se isto não quer dizer que só metade das unidades passavam à segunda fase, não compreendo quem iria fazer a avaliação das outras unidades. 

Pode dizer-se que havia má-fé? 
Não estamos a falar de má-fé, estamos a falar da minha discordância profunda sobre a decisão politica de avançar por um caminho destes. 

Foi uma decisão ministerial? 
É uma decisão politica de alguém e é bom que se saiba a quem pertence. Quem assinou o contrato foi o presidente da Fundação para a Ciência e Tecnologia, por isso imagino que isto não é decidido por ele sozinho.