terça-feira, 22 de setembro de 2015

O RELATÓRIO DE UMA AVALIADORA APONTA OS ERROS DA AVALIAÇÃO

Uma responsável da "avaliação" ESF-FCT reconheceu claramente os erros de todo o processo, que agora terá necessariamente de ser revisto pelo novo governo (o anterior foi, em matéria de ciência e tecnologia, um desastre monumental pois nem agora, consciente das más práticas, corrige). Não há hoje qualquer dúvida que a "avaliação" da ESF-FCT foi uma fraude. Leia-se o artigo de hoje no Público de um grupo de investigadores:

"A FCT, a avaliação, a avaliadora e os avaliados

Já muito se falou sobre os últimos anos de atuação da FCT e das políticas deste Governo em I&D: por um lado, assumindo sem pudor draconianas medidas de austeridade, com cortes discricionários que quase destruíram o sistema científico nacional, particularmente nas ciências sociais; por outro lado, tentando dourar essas decisões com um mantra ideológico assente na aura da procura da “excelência”, espécie de quinta essência do discurso meritocrático, que esquece como são importantes comunidades científi cas sólidas, maduras, bem apetrechadas e com forte ambiente de aprendizagem coletiva.

Uma recente comunicação apresentada no Instituto Superior de Economia e Gestão pela responsável pelo painel de avaliação das ciências sociais, a britânica Rosemary Deem [1], põe a nu as inúmeras falhas de todo o processo, mas revela também como os avaliadores (supostamente também cientistas) desenvolvem impressões e preconceitos.

Vamos à primeira parte. Num exercício de comparação entre os processos de avaliação das unidades de I&D levados a cabo no Reino Unido e em Portugal, a avaliadora aponta problemas graves de conceção e de execução no nosso país: — a maior parte dos avaliadores fez o seu trabalho à distância, sem contacto entre si (apenas estiveram juntos duas vezes por um período de 48 horas);

 — não existiu formação suficiente sobre a sociedade portuguesa, o contexto de recessão e de cortes nos serviços públicos, nem tampouco sobre a configuração e história do sistema científico português;

 — as visitas às unidades duravam três escassas horas, impedindo um contacto aprofundado com as realidades sob apreciação;

— as avaliações e os resultados da primeira etapa de avaliação estavam já previamente definidos, uma vez que a Fundação Europeia da Ciência fi rmou um contrato com a FCT que estipulava, à partida, que 50% dos centros de investigação não seriam financiados;

 — o staff da FCT era reduzido, sofrendo com os cortes em recursos humanos qualificados e revelando grandes dificuldades no acompanhamento técnico e logístico do processo;

— os painéis (apenas sete!) não sabiam como trabalhar com as especificidades disciplinares e a vastidão de áreas do conhecimento (basta ver que existia apenas um painel para todas as ciências sociais);

— durante a avaliação, multiplicaram-se as incongruências entre as orientações do ex-presidente da FCT Manuel Seabra e o staff técnico, gerando confusão entre os avaliadores;

 — o regulamento permitia grande variação de financiamento entre unidades com a mesma classificação, uma vez que a FCT não estabeleceu valores máximos para cada item de avaliação;

— a falta de coordenação e de “calibração” entre os sete gigantescos painéis levou, segundo a avaliadora, a que não houvesse um único centro em ciências sociais classifi cado como excecional;

— as regras de financiamento nunca foram devidamente explicadas, nem aos avaliadores, nem aos centros, o que originou falta de transparência no processo;

— os próprios avaliadores foram erroneamente informados pelo primeiroministro, que, numa conferência europeia sobre o Futuro da Ciência, considerou que as anteriores avaliações tinham sido parciais e subjetivas.

Percebe-se bem o caldo de erros subjacente a todo este processo que, pura e simplesmente, deveria ter sido anulado, houvesse um mínimo sentido ofi cial de justiça e responsabilidade.

No entanto, a comunicação da avaliadora revela ainda outras preocupantes questões, nomeadamente uma questão ética fundamental: dado este rol de constatações, não se compreende que tenha aceitado manter-se como avaliadora e coordenadora de painel, tanto mais que tudo se desenrolou sob a égide da desprestigiada Fundação Europeia para a Ciência. Mas, pior ainda, exala uma certa irritação com o sistema democrático português (que permite contestações jurídicas a procedimentos incorretos e injustos...), a imprensa e os seus profissionais (em particular com o jornal PÚBLICO) e insinua que os avaliadores ficaram negativamente impressionados com a forte reação da comunidade científica face aos resultados da avaliação.

 Perante os clamorosos erros apontados pela própria avaliadora (e que constituem Debate Investigação científica uma espécie de manual do que nunca se deve fazer num processo de avaliação), surgem até como moderados e sensatos os ecos da contestação.

Avaliar é conhecer para retificar e melhorar, não para punir e cortar cegamente. O sistema científico português merece outro rigor, o que significa também, melhores avaliadores. A credibilidade das instituições passa forçosamente pela credibilidade das suas acções. Face ao conteúdo da comunicação apresentada pela avaliadora supracitada, a um governo e a uma instituição sérios, não restaria outra coisa que não fosse pedir desculpa e anular todo o processo.

[1] Rosemary Deem, “Recent research evaluations in the UK and Portugal: methodologies, processes, controversies, responses and consequences”. Comunicação apresentada na CHER annual conference, ISEG, Universidade de Lisboa, 7-9 de Setembro de 2015.

Pedro Abrantes, Maria José Casa-Nova, Fernando Diogo, Carlos Estêvão, Rafaela Ganga, João Teixeira Lopes, Benedita Portugal, Sofia Marques da Silva Membros do Núcleo do Manifesto para Um Mundo Melhor (Mannifesto Internacional de Cientistas Sociais)"


Sem comentários:

O corpo e a mente

 Por A. Galopim de Carvalho   Eu não quero acreditar que sou velho, mas o espelho, todas as manhãs, diz-me que sim. Quando dou uma aula, ai...