Transcrevemos com a devida vénia artigo no Público de 19/12 sobre a "avaliação" da FCT/ESF. Uma má avaliação não só dá maus resultados como prejudica a própria ideia de avaliação.
A FCT deu instruções para haver até 80 centros excepcionais e excelentes
Estará para breve a divulgação dos resultados da fase final da avaliação aos 322 centros de investigação portugueses. Num exercício de lógica, olhámos para as últimas directrizes conhecidas da Fundação para a Ciência e a Tecnologia sobre a avaliação, que mencionam limites para as notas mais altas.
A avaliação dos centros de investigação portugueses, que tanta controvérsia tem gerado este ano, está na recta final. A secretária de Estado da Ciência, Leonor Parreira, disse no início desta semana que os resultados da avaliação serão divulgados ainda este mês, provavelmente até antes do Natal. A serem seguidas as orientações divulgadas recentemente pela Fundação para a Ciência e a Tecnologia (FCT), tutelada pelo Ministério da Educação e Ciência (MEC), haverá um limite para a atribuição das classificações mais altas: entre os 178 centros que chegaram a esta fase da avaliação, no máximo 10% (cerca de 18) poderão ter a nota Excepcional e 20 a 35% (35 a 62) a nota Excelente.
Feitas as contas, até uns 80 centros de investigação poderão assim ter Excepcional e Excelente como classificação, enquanto os restantes 98 que também estão nesta fase da avaliação têm teoricamente reservado um leque de notas entre o Muito Bom, o Bom, o Razoável e o Insuficiente.
Estas instruções encontram-se num documento sobre as linhas de orientação finais relativas à segunda fase de avaliação, tendo como destinatários explícitos os painéis de peritos envolvidos no processo e que a FCT divulgou publicamente pela primeira vez no final de Novembro no seu site. No documento, de 19 de Novembro, lê-se que a “referência orientadora” para a classificação Excepcional é de “até 10% das unidades avaliadas na segunda fase” e para a classificação Excelente é “dentro do intervalo entre os 20% e os 35% das unidades avaliadas na segunda fase”.
Esta avaliação destina-se à atribuição de financiamento, nos próximos cinco anos, para despesas correntes dos centros de investigação (desde pagamento de reagentes de experiências científicas até idas a congressos), bem como para actividades estratégicas. A avaliação foi dividida em duas fases. Na primeira, 322 centros, agrupados por grandes áreas do saber, foram avaliados por três peritos com base em informação documental. Os seus três relatórios foram depois discutidos por outros peritos, que integravam um dos sete painéis criados para este processo, de onde saiu um relatório de consenso. Na segunda fase, os 178 centros que aqui chegaram foram visitados por peritos desses sete painéis, entre Julho e Outubro, e cada um dos painéis reuniu-se no final de Novembro em Lisboa para atribuir as notas finais, segundo o site da FCT. O documento de Novembro é o guia para a reunião final dos painéis.
Na primeira fase, incluindo já os resultados das reclamações apresentadas pelos investigadores, ficaram pelo caminho 144 centros (44,7%), classificados com Insuficiente, Razoável e Bom. O que significa que não vão ter qualquer financiamento para despesas se tiveram Insuficiente e Razoável, ou receberão algum dinheiro se tiveram Bom (entre 5000 e 40.000 euros por ano). E logo estes primeiros resultados, anunciados no final de Junho, desencadearam críticas da comunidade científica, acusando o Governo de estar a matar quase metade das unidades de investigação – porque mesmo 40.000 euros, como disseram responsáveis de vários centros, não chegam para pagar a um investigador de pós-doutoramento. Entre as falhas apontadas estavam a ausência de visitas dos peritos aos centros e painéis demasiado genéricos.
Uma shortlist no contrato
As críticas à avaliação, vindas de cientistas como Carlos Fiolhais, Manuel Sobrinho Simões e Alexandre Quintanilha, subiram de tom quando se ficou a saber (em meados de Julho) que havia quotas, nunca antes reveladas, para eliminar metade dos centros logo na primeira fase da avaliação, estabelecidas previamente no contrato que a FCT assinou com a entidade à qual delegou a avaliação, a European Science Foundation (ESF). O contrato menciona que à partida, antes de qualquer avaliação, 50% dos centros seria eliminada: “A primeira fase da avaliação irá resultar numa shortlist de metade das unidades de investigação que serão seleccionadas para seguir para a fase 2”, lê-se. A FCT e o MEC justificaram a referência à eliminação de metade dos centros como uma “estimativa” baseada na avaliação anterior dos centros, de 2007.
A shortlist acordada no contrato mereceu críticas, por exemplo, do Conselho de Reitores das Universidades Portuguesas (CRUP), numa carta enviada em Outubro ao ministro da Educação e Ciência, Nuno Crato, na qual recusa “a morte de quase 50% do tecido científico português”: “Este resultado, já previsível a partir dos termos em que o contrato entre o Estado português e a ESF foi redigido, prevendo a passagem à segunda
Mais: “Apesar de ter sido chamada a atenção para inúmeros erros de avaliação, muitos inteiramente factuais, diversos painéis desculparam-se de diversas formas para não retirar daí consequências, mantendo avaliações inexplicáveis. A avaliação não presencial de unidades de investigação é, no nosso entendimento, um falhanço pleno”, dizia o CRUP na carta, considerando que este processo “não tem a qualidade necessária”. “Para que um sistema de avaliação seja capaz de promover a excelência tem de, ele próprio, ser pelo menos excelente, se não excepcional. Não é o caso.”
O que o CRUP escreveu na carta ao ministro continua válido, reiterou esta quinta-feira ao PÚBLICO António Cunha, o presidente deste conselho de reitores de 15 universidades. “A avaliação tem enormes fragilidades. É um processo mal planeado desde o princípio, dificilmente terá bons resultados. O CRUP está apostado em conseguir que esta avaliação não seja usada para mais nada”, frisa António Cunha, referindo-se ao seu uso como critério de avaliação de projectos de investigação ou bolsas. “Independentemente disso, há muitos laboratórios que a partir de Janeiro não sabem com que dinheiro vão trabalhar. Se é para conhecer os resultados da avaliação, é desejável que se conheçam rapidamente.”
Também o Conselho dos Laboratórios Associados (CLA), uma rede de 26 centros, considerou logo em Julho que a avaliação tinha “anomalias gritantes”, que deviam ser “urgentemente corrigidas”, alertando que as unidades com Bom serão extintas “na prática”. “Pode um sistema científico funcionar sem um grande número de centros de investigação de boa qualidade, embora não excepcionais? Não pode, em parte alguma do mundo.”
Porquê os novos limites?
Só os centros acima de Bom – 178 (55,2%) – passaram assim à segunda fase da avaliação. E são estes, em particular aqueles que vierem a ter Excepcional e Excelente, que disputam agora as maiores fatias dos 50 milhões de euros que a FCT anunciou ir disponibilizar anualmente para despesas de funcionamento. Além disso, os que forem classificados com Excepcional, Excelente e Muito Bom podem ainda candidatar-se a outro tipo de financiamento dito “estratégico”, sem qualquer tecto máximo, e que também sairá do mesmo bolo dos 50 milhões.
Se a ideia é verificar a qualidade actual dos centros de investigação, então por que razão se estabelecerem quotas para as classificações máximas? Perguntou-se à FCT quais são os fundamentos para essas quotas. “Os valores referidos não são quotas, mas sim guias ou referências orientadoras para os painéis de avaliação”, responde a FCT ao PÚBLICO por escrito, num emailenviado pela coordenadora do gabinete de comunicação, Ana Godinho. “O documento explicita que ‘estas linhas orientadoras não devem ser consideradas vinculativas, em qualquer forma, para os painéis’. A decisão final é sempre dos painéis de avaliação e é sempre respeitada e aceite pela FCT.”
A definição destes valores baseia-se em quê? – perguntou-se ainda. “A definição dos intervalos para a percentagem de ‘excepcional’ e de ‘excelente’ tem como base, para além das definições associadas a estas classificações (descritas no Guião de Avaliação), as propostas de classificação entretanto recebidas, associadas à primeira fase [da avaliação] e às visitas [dos peritos aos centros de investigação na segunda fase da avaliação]”, responde a FCT.
Ou seja, a FCT explica que os valores dos 10% para os Excepcionais e dos 20 a 35% para os Excelentes resultam das propostas de classificações que os próprios painéis de peritos lhe foram fazendo chegar durante as duas fases da avaliação – isto num documento que a FCT diz dirigir-se aos próprios peritos, para a reunião final da avaliação. Portanto, a FCT terá dito aos peritos aquilo que os peritos já lhe teriam dito antes a ela.
Essas propostas de classificação, acrescenta a FCT na resposta ao PÚBLICO, “foram apresentadas e discutidas na reunião final do painel [de peritos de cada área do saber] em Lisboa, em Novembro”. O que sugere que os resultados finais da avaliação poderão andar à volta de 80 centros classificados como excepcionais e excelentes.
Até ao final de Novembro, as “guias” ou “referências orientadoras” para as classificações mais altas não eram conhecidas pelos centros. Ou seja, não constavam do Guião da Avaliação, divulgado pela FCT a 31 de Julho de 2013. Nem do contrato entre a FCT e a ESF (de Abril deste ano), nem da adenda ao contrato (assinada a de 24 de Outubro deste ano), que introduziu algumas alterações no plano de trabalho da segunda fase da avaliação.
Por que razão as “linhas de orientação” não foram divulgadas logo no início da avaliação, que começou ainda em 2013, para que todos os centros conhecessem todas as regras desde aí? A FCT refere que o documento de Novembro “é um documento de orientação, dirigido aos membros dos painéis”, como mencionado acima, “e que foi tornado público a bem da total transparência do processo”. Diz ainda que os critérios e os princípios da avaliação foram divulgados antes, no também já referido Guião da Avaliação: “As orientações que constam neste documento [de Novembro] têm como objectivo especificar alguns dos preceitos e normas enunciados no Guião de Avaliação em função dos resultados concretos do exercício de avaliação em curso.”
Acima de Bom, talvez Razoável
Como vimos, para passar à segunda fase, um centro tinha de ter mais do que Bom, senão ficaria pelo caminho, ainda que as classificações finais do grupo dos 178 centros que transitou não tivessem sido atribuídas e divulgadas com o anúncio dos primeiros resultados. Mas nem todos os que passaram à segunda fase têm automaticamente direito a dinheiro para as despesas correntes, designado por financiamento-base, como se refere tanto no documento de Novembro como no Guião da Avaliação.
Isto porque, na segunda fase da avaliação, as classificações possíveis vão do Excepcional e Excelente até ao Muito Bom, Bom, Razoável e Insuficiente. E as duas mais baixas – Razoável e Insuficiente – não têm direito a nada: “A componente de financiamento-base só será alocada às unidades classificadas com Bom ou acima”, lê-se no documento de Novembro em relação à segunda fase da avaliação.
Qual é então o financiamento-base reservado para os centros com Bom ou mais na segunda fase? Um centro Excepcional poderá receber entre 400.000 euros por ano, no máximo, e 50.000 no mínimo, referem o Guião da Avaliação e o documento de Novembro, tendo em conta vários critérios. Se a nota for Excelente, o valor será entre 300.000 euros e 37.500 euros por ano. Muito Bom pode traduzir-se entre 200.000 euros e 25.000 euros. E Bom, como foi dito, dará entre 40.000 euros e 5000 euros.
A partir daqui, uma leitura possível é que o Bom na segunda fase da avaliação dá direito aos mesmos valores do que o Bom na primeira fase. Mais: um centro que ficou para trás com Bom vai receber algum dinheiro, mas um que passou à segunda fase – e, para isso, teve de ter uma classificação superior aos que ficaram para trás – arrisca-se, segundo as regras da FCT, a não receber nada. Tal como acontece com os centros com Razoável e Insuficiente que se ficaram pela primeira fase da avaliação.
Se para chegar à segunda fase era preciso ter acima de Bom – logicamente, pelo menos Muito Bom –, por que razão as unidades de investigação podem teoricamente voltar a ser classificadas com Bom, Razoável e Insuficiente? “Não é correcto dizer que as unidades que passam à segunda fase tenham no mínimo ‘muito bom’: as unidades que passaram à segunda fase não tiveram, na altura, qualquer classificação atribuída, mas tiveram de ultrapassar um limiar de qualificação que lhes permitiu passar à fase seguinte”, responde a FCT. “Esta segunda fase corresponde a um nível de escrutínio mais elevado e, por isso, qualquer classificação é possível, tal como previsto nos regulamentos.”
Se algum centro tiver classificação inferior a Bom na segunda fase, resta saber se reclamará a nota da primeira fase. Quando saírem os resultados da fase final – “provavelmente” antes do Natal, disse Leonor Parreira na segunda-feira em Coimbra à agência Lusa, acrescentando que a avaliação “está a decorrer com tranquilidade e como era suposto” –, confirmar-se-á se os painéis de avaliadores cumpriram à risca as “guias” ou “referências orientadoras” da FCT para classificar no máximo uns 80 centros. Ou se, depois de um “limiar de qualificação” acima de Bom, um centro voltou a cair na classificação. Ou, feitas todas as contas, entre as 322 unidades de investigação, quantas e quais serão mesmo deixadas à sua sorte e a quantas e a quais saiu a sorte grande.
Sem comentários:
Enviar um comentário