A self-fulfilling prophecy

O investigador no estrangeiro que tem analisado o processo de "avaliação" da FCT desmonta aqui a "teoria da estimativa" sobre o número de unidades a abater pela FCT:

Num post anterior propusemos a teoria das quotas (TDQ) para explicar várias aberrações presentes na avaliação da FCT em curso. Essa teoria foi confirmada, se não na sua totalidade pelo menos parcialmente, com a publicação do contrato entre a ESF e a FCT há cerca de uma semana – há algumas questões menores em aberto, que não passam da mera curiosidade, como por exemplo a de saber exactamente como é que os painéis decidiram cumprir as quotas nos casos de um baixo número ímpar de centros numa mesma área científica.

Surgiu entretanto uma teoria rival, a teoria das estimativas (TDE), a qual tenta negar as quotas sem no entanto explicar nenhuma das aberrações – presume-se que a implicação seja que imediatamente todas as peculiaridades do processo desapareçam. Ora o autor desta segunda teoria parece esquecer que a TDQ surgiu para explicar o que não se compreendia sobre o processo, e que não é por propor a TDE que se lança mais luz sobre o facto de avaliadores sem conhecimentos ou experiência numa dada área se terem sobreposto aos árbitros externos para eliminar uma unidade, por exemplo. E todos os outros problemas que foram identificados até aqui, os quais admitem uma explicação simples e plausível à luz da TDQ, mas assumem proporções misteriosas e provavelmente com implicações muito mais graves se se assumir a TDE.

Para além disso, será que a TDE sobrevive a um teste experimental? O nosso objecto de estudo resume-se ao texto (parcial?) do contrato – tal como qualquer cientista sabe, tanto quanto possível devemos sempre ir às fontes originais, principalmente quando há coisas que necessitam de ser esclarecidas.

A referência ao número de unidades a passar à segunda fase aparece em três lugares no texto. Começa por surgir na página 4 do contrato propriamente dito. Aí o número 163 é indicado como sendo o número de unidades a passar à segunda fase, servindo de facto de base para um cálculo dos custos. Não é completamente claro se os custos de infraestrutura da ESF dependem do número de centros na segunda fase mas o custo por centro parece ser cerca de 600 euros. Surge também na página 13 do Anexo A, onde é indicado como tendo sido utilizado para definir o que chamam um orçamento realista.

Um primeiro ponto aqui é que se se tratasse de uma estimativa no verdadeiro sentido da palavra, ou seja, em que poderia haver uma variação grande face ao valor estimado, teria certamente sido mais natural especificar o valor do custo por centro. Até porque este valor relativo à segunda fase está dividido em duas partes, tendo o primeiro pagamento lugar apenas a 6 de Agosto de 2014; ou seja, não era necessário ter o valor exacto no momento da assinatura, apenas a indicação sobre como o gerar.

Mas há também uma menção ao número de unidades que se espera que se candidatem a este processo e que mostra claramente que partes do contrato foram escritas em pelo menos duas alturas diferentes, antes e depois de se saber quantas candidaturas iria haver. Esta referência aparece na página 2 onde está escrito que se prevê que concorram entre 300 a 400 unidades. Isto já é o que toda a gente considerará uma estimativa! Não particularmente precisa, mas é uma estimativa. Ou seja, antes do processo ter lugar a FCT não sabe quantas unidades irão concorrer e admite que a variação pode ser da ordem dos 25-30%. Isto mesmo sabendo que antes da avaliação há 293 centros e 26 laboratórios associados num total de 319 unidades. Por outro lado, depois de ter conhecimento de quantas unidades irão a concurso a sua estimativa sobre aquelas que passarão à segunda fase é apenas um número e acerta praticamente em cheio no alvo.

Mas há uma outra pista que elimina a TDE. O terceiro lugar onde são mencionadas quantas unidades devem passar à segunda fase é na página 5 do Anexo A (Plano de Trabalhos) na secção General Principles – Stage 1 Assessment. Aqui não é necessário estimar um valor. Estamos a falar de como é que o processo se irá desenrolar, dos princípios gerais que o irão gerir e das instruções a dar aos membros do painel sobre os pontos a avaliar, etc. E do número de unidades a passar à segunda fase, como se pode ver do texto que especifica qual deve ser o resultado da primeira fase:

“Stage 1 will result in a shortlist of half of the research units that will be selected to proceed to stage 2.”

A TDE consegue justificar a necessidade desta frase, neste local, apenas em termos do cálculo de custos?

Esta parte do contrato é, provavelmente, contemporânea com a da única estimativa genuína envolvida: a do número de unidades a concurso; no entanto era já especificado que destas, qualquer que viesse a ser o número, apenas 50% fariam parte da shortlist da segunda fase.

Conclui-se que a TDE não só não explica os factos que a TDQ explica, como não bate certo com eles.

Pode, no entanto, ainda haver um modo do autor da TDE a conseguir salvar, embora para uma outra aplicação:

Consegue a TDE prever quantas unidades irão ter Muito Bom, Excelente e Excepcional na segunda fase?

Se sim, agradecemos a divulgação dessas estimativas o mais rapidamente possível.

Chegados aqui, podemos manter que se trata apenas de duas teorias, uma tão válida como a outra, ou até mesmo ficar maravilhados com a precisão do tandem ESF/FCT, como o deputado que afirmou que a estimativa da FCT se justificava uma vez que o resultado final veio comprová-la.

Ou podemos pensar de modo diferente.

Investigador devidamente identificado, que nos pediu o anonimato.