SETE ERROS CAPITAIS DA AVALIAÇÃO DA ESF/FCT

Os Reitores das Universidades portugueses escreveram ao ministro Nuno Crato uma carta demolidora da "avaliação" do sistema científico nacional. "Avaliação" vai entre aspas, pois não se trata de uma verdadeira avaliação por pares, que todos os cientistas não só defendem como exigem, mas sim de um processo político, que visa em primeiro lugar a eliminação de metade do sistema científico-tecnológico nacional, ferindo de morte uma comunidade que estava a apresentar um crescimento notável tanto em quantidade como em qualidade.

Há numerosos erros de conteúdo científico em pareceres emitidos, por falta de capacidade e experiência da entidade organizadora (a ESF - European Science Foundation). Eles são, na sua maior parte, conhecidos em pormenor, pelo que me limito aqui a sumariar alguns erros graves formais de organização do processo por parte da FCT - a Fundação para a Ciência e Tecnologia (ver, no entanto, 5 e 7 para algumas novidades).

Agradeço aos muitos colegas que, em defesa da ciência, fizeram chegar a este blogue muitas informações sobre o processo de "avaliação", algumas já divulgadas e outras a divulgar em breve.

1. Quotas escondidas.

A FCT encomendou à ESF, uma entidade sem suficiente experiência na avaliação de unidades nem, pelo que tem vindo a lume ultimamente,  sem suficiente idoneidade, a avaliação de todas as unidades de investigação em Portugal. Essa avaliação é absoluta, ou seja as unidades de investigação são avaliadas numa escala de seis níveis (mediocre, regular, bom, muito bom, excelente e excepcional). Repare-se no logro semântico, de "bom" ser uma nota negativa. A avaliação abarca duas fases, passando à segunda apenas as unidades com classificação igual ou superior a "muito bom". No entanto, e apesar de afirmar o contrário, a FCT não permitiu que as unidades fossem livremente classificadas com base apenas no mérito. Impôs uma quota definida no contrato que firmou com a ESF, que apenas metade das unidades passariam à segunda fase. Isto significa que as classificações tiveram que se encaixar nesta quota, ou seja as classificações de várias unidades tiveram que ser revistas em baixo para se encaixarem nessa quota (um exemplo que já é público de rebaixamento da nota foi divulgado pelo Conselho de Ciências Sociais e Humanas da FCT) . A existência desta quota foi desconhecida dos investigadores até depois da primeira fase de avaliação ter terminado, sendo apenas revelada quando, após grande pressão jurídica, a FCT revelou o contrato que assinou com a ESF. A análise dos resultados revelou que a quota imposta foi seguida em todos os painéis, talvez por não ter havido acordo sobre uma distribuição não uniforme do corte imposto..

2. Falta de transparência

Durante toda a primeira fase de avaliação o contrato que a FCT firmou com a ESF foi escondido, desconhecendo-se a existência da quota. Ainda hoje,  estando a avaliação em plena segunda fase, a FCT recusa   mostrar as adendas que fez ao contrato. É evidente que o contrato deve ser público na totalidade e conhecido com a devida antecedência, não fazendo sentido, por exemplo, que o contrato vá sendo alterado à medida que o seu cumprimento prossegue.

3. Avaliações feitas por não especialistas

Em relação a processos de avaliação anteriores, o número de painéis temáticos foi bastante reduzido, assim como o número de membros do painel. Assim, foram agregadas áreas muito diversas num mesmo painel que não eram abarcadas pelos membros do painel. Por exemplo no painel de ciência exactas, que juntou a química, a física, a matemática, as ciências dos materiais e as nanociências, muitos domínios de cada uma destas disciplinas não eram abarcadas pela especialização dos membros do painel. Ora um processo sério de avaliação exige a avaliação por áreas disciplinares, como era dantes feito.

4. Notas não comparáveis e arbitrariedade

Com o intuito de "compensar" a austeridade de painéis, a ESF recorreu a um grande número de avaliadores externos aos painéis (mais de 600), tendo cada centro sido avaliado por dois destes avaliadores externos. Tendo em conta o número de centros (322) e de avaliadores, a maior parte dos avaliadores externos terá avaliado um único centro, ou que significa que as notas entre os centros não são comparáveis porque foram dadas por avaliadores diferentes. Assim, as classificações dos vários avaliadores foram levadas em consideração pelos membros do painel de modo arbitrário. Ou seja, classificações elevadas dadas pelos avaliadores externos resultaram, por vezes, num resultado global muito mais baixo. O número de avaliadores externos para cada centro avaliado deixa muito a desejar (segundo alguns especialistas, incluindo o secretário de Estado do Ensino Superior, seriam precisos pelo menos cinco para haver a necessária robustez). A capacidade dos avaliadores dos painéis também deixa a desejar, designadamente uma situação clara de conflito de interesses (um coordenador de um dos painéis tinha mais de 40 artigos com um dos grupos que avaliou, isto é, construiu uma boa parte da sua carreira à custa desse grupo).

5. Avaliação feita sem visitas aos centros

A avaliação decorreu numa primeira fase sem  as visitas aos centros que são obrigatórias legalmente pelo decreto-lei 125/99 que enquadra toda a avaliação (artigo 28- n.º 3). Como é óbvio, uma avaliação remota e meramente documental não pode dar conta das realidades concretas dos sítios. Não são visitadas as instalações, permitindo aquilatar das condições de trabalho, e não existe o indispensável diálogo com os investigadores das unidades, espalhadas ao longo do país, funcionando em condições muito diferentes. Se não houver visitas a todas as unidades o processo está necessariamente ferido de ilegalidade. Para além de ilegalidade, há a questão ética da equidade: nem todas as unidades foram tratadas da mesma maneira: umas foram filhas e outras enteadas.

6. Uso de dados errados

A tabela com a produção científica por investigador em cada centro que foi fornecidas aos avaliadores estava errada por um factor de 2. Os avaliadores classificaram as unidades partindo da premissa que a produção científica de cada unidade em Portugal era metade do que na realidade é. Isto retira o fundamento de muita argumentação produzida a respeito de falta de produtividade.  A correcção do erro foi efectuada pela FCT não só a posteriori como à sucapa.

7. Mudança de regras a meio do processo

Com a avaliação a decorrer, a FCT divulgou um documento a que chamou "Informação suplementar" e que na prática introduziu mudanças profundas ao regulamento divulgado. Por exemplo, o número de avaliadores de cada unidade que podia ir até ao máximo de 5 foi reduzido para 3 em todos os casos e o  avaliador indicado pela unidade foi excluído da discussão do relatório de consenso. O ministro disse que as regras iniciais tinham de ser respeitadas até ao fim e isso não foi, de facto, o que aconteceu. A segunda fase da avaliação está a decorrer de uma forma atabalhoada, não só com diminuição do número de avaliadores (parece que nem todos os membros dos painéis compareceram) mas, o que é bastante pior, com o recurso a não especialistas nas áreas avaliadas. Só para dar um exemplo, um centro de investigação na área de Arquitectura foi visitado por um painel que não incluía quaisquer arquitectos. Mas, infelizmente, há mais exemplos.

Ainda alguém pode achar que está tudo bem? Está tudo bem, senhor ministro?