segunda-feira, 9 de março de 2015

AINDA A DESASTROSA AVALIAÇÃO DA ESF/FCT

Já começaram a ser publicadas apreciações necessariamente críticas à "avaliação" da ciência em Portugal, feita pela dupla ESF/FCT. Essa avaliação já foi chumbada por toda a gente, incluindo pelo próprio governo que mandou rever uma boa parte. Enquanto se aguardam os resultados (a FCT é profundamente incompetente pois não sabe sequer o que é um prazo razoável de espera) deixo aqui um excerto de um artigo que me chegou da Prof.ª Jesus Sousa da Universidade da Madeira (área de Ciências de Educação). Destaco a frase:

"Acreditamos que apenas em regimes autoritários é possível continuar com esta determinação de cortar tudo a eito, sem parar para ouvir um clamor já generalizado contra a agenda de estrangulamento da investigação. Mas mesmo assim, até à data, paira da parte do Ministério um silêncio sepulcral."

------------------------------------------------------------------------------------------------------------------------
Sousa, J. M. (2015). O que resta da investigação em Portugal?. In N. S. Fraga & A. F. Kot-kotecki (Orgs.). A Escola Restante (pp. 146-172). Funchal: CIE-UMa. (ISBN 978-989-95857-6-8). 
------------------------------------------------------------------------------------------------------------------------

SECÇÃO "AVALIAÇÃO EM 2014 E IMPACTO" (sem os gráficos)

"Chegada a altura da apresentação das candidaturas para novo período 2015-2020 (entretanto 2013 e 2014 funcionaram com autorizações de prolongamento das atividades, mediante relatórios que era preciso apresentar), nada fazia supor o que acabou por desabar sobre a maioria das unidades.

           Acreditando ingenuamente nas boas intenções da FCT em proceder, de acordo com o Regulamento de Avaliação e Financiamento de Unidades de Investigação, a um “exigente exercício de avaliação das instituições de investigação que compõem o sistema científico e tecnológico nacional (SCTN)”, a fim de “reforçar a competitividade da Europa no contexto de uma economia global do conhecimento”, a delegação dessa responsabilidade na European Science Foundation (ESF) não nos criou qualquer mal-estar. O Regulamento previa que a avaliação fosse efetuada “por painéis de avaliação organizados por áreas científicas e compostos por avaliadores de mérito e competência internacionalmente reconhecidos, provenientes de instituições estrangeiras”. Quem éramos nós para duvidar da isenção e competência desses especialistas? Por outro lado, previa-se que integrasse o painel pelo menos um dos três nomes sugeridos por cada unidade: o ponto 4, do Artigo 9º do Regulamento diz o seguinte: “Na primeira fase da avaliação o painel recorre, ainda, a peritos provenientes de instituições estrangeiras indicados pelas unidades de I&D a avaliar.”

O processo decorreria em duas fases. Determinadas as categorias qualitativas em Excepcional, Excelente, Muito Bom, Bom, Razoável e Insuficiente (6 categorias em vez das anteriores 5), ficariam eliminadas, numa primeira fase, e apenas com base na leitura fria dos Relatórios de Autoavaliação, as unidades que não obtivessem, no mínimo, Muito Bom. As de Bom receberiam um financiamento residual que significaria a sua morte a curto prazo.

O que se passou então? Numa primeira fase de avaliação (Review process – Stage 1), as unidades foram avaliadas individualmente por três elementos. Começou aí a nossa estranheza, pois o CIE-UMa obteve as seguintes classificações: 17/20, 8/20 e 6/20. Não sei se houve mais algum caso, nas 322 entidades que concorreram, de uma disparidade de 11 valores entre a nota mínima e a máxima.

Nós que somos professores e habituados às questões de avaliação, levantaríamos de imediato reservas ao processo. Que critérios haviam sido utilizados? Quais as ponderações? Como pessoas tão abalizadas poderiam ter opiniões tão díspares?

De acordo com o Regulamento devia-se ter em conta o seguinte:

A. Produtividade e contributo para o Sistema Científico e Tecnológico Nacional;
B. Mérito científico e tecnológico da equipa de investigação;
C. Mérito científico e carácter inovador do programa estratégico;
D. Exequibilidade do programa de trabalhos e razoabilidade orçamental;
E. Impacto da produção científica, tecnológica e cultural.

Ou seja, dois parâmetros para aquilatar o valor da equipa no passado e no presente, e dois outros virados para a capacidade de realização futura, pois o quinto não foi merecedor de análise, pelo menos isoladamente.

Numa leitura mais detalhada das apreciações dos avaliadores, detetaram-se algumas afirmações erradas, bem como juízos de valor altamente duvidosos. Procedemos ao Rebuttal (ou contestação ainda prévia) rebatendo alguns comentários estigmatizantes sobre as nossas opções estratégicas, e procurando salientar as incongruências entre os três avaliadores (e. g. a alegação da nossa má utilização da expressão vocational education, revelando desconhecimento da realidade nacional; a crítica à nossa cooperação com o mundo da lusofonia, para privilegiar o que denominaram de Anglo world, o que nos levou a alertá-los para o risco de se criar um incidente diplomático, por ser óbvio o etnocentrismo e a superioridade patente do Norte relativamente ao Sul; o erro na contabilização das nossas publicações em 2012, etc.).

Apesar desse contraditório inicial, deram ao CIE-UMa a classificação de Insuficiente, com 10 valores, distribuídos da seguinte maneira:

A. Produtividade e contributo para o Sistema Científico e Tecnológico Nacional: 3 valores
B. Mérito científico e tecnológico da equipa de investigação: 2 valores
C. Mérito científico e carácter inovador do programa estratégico: 2 valores
D. Exequibilidade do programa de trabalhos e razoabilidade orçamental: 3 valores

No entanto, todos os erros que lhes havíamos apontado, bem como comentários que poderiam levantar os tais problemas diplomáticos, nomeadamente com o Brasil, por exemplo, desapareceram, como que por milagre. Isto é, resultou então, da parte dos avaliadores, um texto francamente positivo e elogioso ao CIE-UMa, com o tom que havia afinal caracterizado o texto do avaliador que nos dera a nota de Muito Bom, mas a classificação… essa permaneceu a mesma, inabalável.

Aqui ficam registados alguns extratos, com tradução da autora (…):

- “A equipa tem produzido abundantemente ao longo dos últimos anos. Existe também uma produção considerável de teses de doutoramento; mais de 30 artigos em revistas com revisão de pares. […]

- O painel apreciou os esforços do centro em ir além de uma Madeira mais homogénea, estendendo a sua investigação e a construção da sua teoria pedagógica ao Brasil que é etnicamente mais diverso. […]
               
- Foi positivamente notada a ambição de, através do seu trabalho teórico e aplicado, reverter os problemas do sistema de educação. “Se não estamos satisfeitos com a situação atual da escola, precisamos de conhecer as razões profundas (currículo oculto) e o seu impacto no sucesso escolar dos nossos alunos”. E através da abordagem metodológica etnográfica, eles propõem-se a olhar profundamente para a vida interna e a prática da escola para compreender realmente o que se está a passar nas suas turmas, encarando-as como comunidades culturais em que os membros, aprendizes e professores, são sujeitos fenomenológicos, com as suas histórias de vida, os seus backgrounds e as suas próprias referências culturais. […]

- O grupo é visto como uma unidade dinâmica e realizadora. […]

- O centro tem ambições e deseja influenciar a ciência da educação internacionalmente.”

Vejamos agora o comentário geral (final) do Painel, que “pretende” fazer  a síntese do que havia sido escrito anteriormente:

- “O centro de investigação define-se bem a si mesmo como uma unidade ambiciosa na periferia da Europa, mas com aspirações de chegar à América Latina e ao resto do Mundo. O painel apreciou as dificuldades geográficas adicionais que o centro enfrenta, bem como o trabalho árduo e o espírito de dedicação e paixão que atravessa as suas afirmações escritas; contudo, os avaliadores encorajam este centro a ter uma atitude mais positiva e a não desistir dos seus esforços em continuar a lutar pela excelência. O painel encoraja o centro a continuar a ser mais internacional e a aumentar a quantidade das suas produções académicas. O centro precisa de refinar o que entende por “Madeira School of Thought”

Esta ideia pode ser uma avenida prometedora, mas necessita de ser claramente especificada e explicada no Relatório. O painel sentiu que o centro devia demonstrar a sua preocupação com produção de qualidade académica. O equilíbrio entre o ensino e a investigação académica e publicações devia ser demonstrado, refletindo uma massa de realização científica. O painel congratula-se com os esforços do centro e ao mesmo tempo deseja ver uma clara demonstração de que as suas ambições são realistas e bem transmitidas. A mensagem geral dos avaliadores seria a de que este centro único continue os seus esforços para a excelência.”

Face ao resultado, o CIE-UMa decidiu apresentar a sua Audiência Prévia (…), procurando demonstrar a contradição entre a nota para cada critério e a respetiva fundamentação. Além disso, apontámos ao Painel um erro que considerámos grosseiro (reportar-se ao nosso Programa Estratégico de 2008/2012, citando-o abundantemente, quando o que estava em análise era o Programa Estratégico de 2015/2020), erro esse que apenas mereceu, da parte do Painel, na Decisão final, a concessão de que se trataria, na melhor das hipóteses (it may be), de um simples deslize (a simple slip). De novo, nessa fase, a classificação não se moveu um milímetro.

Entretanto, o que nos parecia ser caso único (seria problema nosso?) começou a ganhar foros de reação nacional. Ao deixarmos de olhar para os nossos cacos (a escola restante), constatámos que afinal não fora apenas sobre nós que desabara o caterpillar governamental, comandado pela dupla FCT/ESF. As reacções foram-se avolumando, umas mais violentas que outras, como pudemos ir acompanhando através do blog Rerum Natura (http://dererummundi.blogspot.pt), sendo a maior parte dos posts da responsabilidade do físico Carlos Fiolhais e face ao panorama nacional: das 322 unidades (em 2007 tinham sido 404 a concorrer), 144 ficaram para trás no todo nacional: ou não recebem qualquer financiamento ou recebem-no residualmente.

Avaliação de unidades de investigação em 2014
nº centros que passaram à 2ª fase 178
nº centros que NÃO passaram à 2ª fase 144


Desencadeada a suspeita de ter havido à partida a determinação de quotas para a passagem à 2ª fase, foi preciso recorrer à Comissão de Acesso aos Documentos Administrativos para se aceder ao contrato e respetivas adendas. Quando encostada à parede, a FCT não teve outra alternativa que não fosse a de tornar públicos os documentos. A partir de então, deixaram de existir quaisquer dúvidas se estas ainda persistissem: as regras do jogo estavam afinal totalmente viciadas, desde o princípio, por um compromisso assumido entre a FCT e a tal organização científica “séria” para eliminar metade dos centros de investigação portugueses. Preto no branco, porque obrigada a revelar, a FCT divulgou o contrato (ainda não assinado, e esse é ainda outro problema a ser dissecado) onde constava
explicitamente o seguinte: “Stage 1 will result in a shortlist of half of the research units that will be selected to proceed to stage 2.”

E o que aconteceu à investigação em educação? Perderíamos também metade das unidades? Esta é a parte pior desta história de terror. Conforme Quadro, a destruição redundou em muito mais de metade dos seus centros.

Quadro 2. Unidades de Investigação em Educação em 2014.

Unidade InvestigaçãoS/N (Passa ou não passa a 2.ª fase)

Centro de Investigação e Intervenção Educativas - CIIE Porto [Porto-167] 33 S
Centro de Estudos da Criança [Braga-317] 44 S
Centro de Investigação de Políticas do Ensino Superior - CIPES [Coimbra-757] 20 S
Centro de Estudos Interdisciplinares em Educação e Desenvolvimento [Lisboa-4114] 40 S
Investigação em Educação e Intervenção Comunitária [Almada-4587] 20 S

Centro de Investigação - Didáctica e Tecnologia na Formação de Formadores [Aveiro-194] 85 N
Centro de Investigação em Educação [Braga-1661] 63 N
Unidade de Investigação Educação e Desenvolvimento - UIED [Nova Lx_Almada-2861] 19 N
Centro de Estudos em Educação, Tecnologias e Saúde [Viseu-4016] 72 N
Centro de Investigação em Educação (CIE-UMa) [Funchal-4083] 11 N
Unidade de Investigação e Desenvolvimento em Educação e Formação [Lisboa-4107] 88 N
Centro de Investigação em Ciências da Educação e Formação (CICEF) [Algarve-4161] 13 N
Centro de Investigação em Educação e Psicologia da Universidade de Évora [Évora-4312] 21 N
Laboratório de Educação à Distância e eLearning [Aberta_Lisboa-4372] 17 N
Centro de Investigação Educacional [ISPA_Lisboa-4853]


Apesar de algumas flutuações nas candidaturas (não candidatura de algumas que se tinham apresentado em 2007 e aparecimento de outras novas), o que é certo e que resultou no mesmo número de unidades de 2007, e dessas 15, 2/3 não foram admitidos à 2ª fase.

Avaliação de unidades de investigação em educação em 2014
nº centros que passaram à 2ª fase 5
nº centros que NÃO passaram à 2ª fase 10

Se pensarmos apenas em investigadores integrados (os tais Doutores residentes no País), tal equivale a dizer que, dos 557 investigadores apenas 28,1% passaram à 2ª fase, ficando para trás 71,8%.


Avaliação de unidades de investigação em educação em 2014
nº investigadores integrados que passaram à 2ª fase  157
nº investigadores integrados que não passaram à 2ª fase  400


Comparando com a situação de 2007, vemos com clareza o movimento no sentido de eliminação da área da educação, em termos de investigação.

Muitas foram as entidades e organizações que denunciaram e continuam a denunciar publicamente o que se está a fazer à Ciência em Portugal, tais como:

•-  Conselho de Laboratórios Associados;
• - Conselho de Reitores das Universidades Portuguesas (CRUP);
• - Sociedades Portuguesas da Química, da Física, da Estatística, da Matemática, e da Filosofia (infelizmente a Sociedade Portuguesa de Ciências da Educação - SPCE não teve nenhuma reação);
• - Os próprios Conselhos Científicos da FCT;
•-  Um grupo das Ciências Sociais;
•- O Reitor da Universidade de Lisboa, individualmente, e outras individualidades através de blogs, jornais, e meios televisivos.

Tais reclamações tiveram eco internacional, levando a que uma investigadora astrofísica espanhola, Amaya Moro-Martin, escrevesse um artigo de opinião sobre as falhas no processo de avaliação dos centros de investigação portugueses na prestigiada revista Nature, o que mereceu da parte da ESF a exigência de retratação, sob pena de ameaça de processo judicial, o que, por sua vez, suscitou uma onda de repúdio generalizado pela Europa fora, circulando, para subscrição, uma carta aberta europeia em apoio da Ciência.

Entretanto, em Outubro, face aos resultados finais da 1ª fase do processo, o CRUP tomou uma posição mais enérgica, escrevendo uma carta endereçada ao Ministro da Educação e Ciência, Nuno Crato, assinada pelo Presidente cessante, em exercício, António Rendas, e o novo Presidente já eleito, mas ainda sem ter tomado posse, António Cunha. Habituados que estamos à falta de acutilância deste órgão, surpreendemo-nos com o tom que dela se extrai, pois afirmam que já não é possível continuar “a dar o benefício da dúvida”, pois:

“Para que um sistema de avaliação seja capaz de promover a excelência tem de, ele próprio, ser pelo menos excelente, se não excepcional. Não é o caso”.

[…E que…] “Apesar de ter sido chamada a atenção para números erros de avaliação, muitos inteiramente factuais, diversos painéis desculparam-se de diversas formas para não retirar daí consequências, mantendo avaliações inexplicáveis. A avaliação não presencial de unidades de investigação é, no nosso entendimento, um falhanço pleno.” […Mais:] “Este processo de avaliação não tem a necessária qualidade. É uma oportunidade perdida para uma política nacional de promoção do conhecimento avançado e está a resultar numa grave perda de confiança no sistema de
avaliação, com a desconsideração quase total dos pareceres das universidades.”

Os reitores contestaram ainda o argumento de privilegiar a excelência, numa “avaliação robusta”, muito usado pelo Presidente da FCT, Miguel Seabra, e a Secretária Estado da Ciência, Leonor Parreira. “A excelência é uma medida relativa que só surge a partir de um universo alargado. Se esse universo não existe, a excelência rapidamente se extingue também por falta de base de recrutamento.” A tomada de posição do CRUP apesar de tardia, não podia ser mais dura.

É que, independentemente dos inúmeros casos pontuais e factuais de inconsistências, erros graves, enganos nas contas, etc., constantes da fundamentação das notas atribuídas, subsistem muitos problemas de natureza jurídica, repetidamente apontados e que, por si só, teriam grandes hipóteses de
fazer suspender este processo.

1. Houve mudanças de regras a meio do percurso, com a introdução de um Aditamento, quando o processo já tinha sido iniciado;

2. Falhou o princípio da transparência, com a regra oculta da eliminação de metade dos centros, independentemente do mérito absoluto de cada um;

3. Os painéis de avaliação não eram constituídos por especialistas da área que iriam avaliar;

4. Os painéis não integraram nenhum dos avaliadores sugeridos pelos centros;

5. Eliminaram-se centros sem ter havido lugar a visitas que são obrigatórias legalmente pelo decreto-lei 125/99 que enquadra toda a avaliação (artigo 28- n.º 3), para contacto direto com a realidade.

Acreditamos que apenas em regimes autoritários é possível continuar com esta determinação de cortar tudo a eito, sem parar para ouvir um clamor já generalizado contra a agenda de estrangulamento da investigação. Mas mesmo assim, até à data, paira da parte do Ministério um silêncio sepulcral.

Também o SNESUP (Sindicato Nacional do Ensino Superior) apelou à suspensão do processo, ainda no mês de julho, tendo apresentado denúncia ao Ministério Público, em setembro, com vista à anulação do processo de avaliação em causa. O CIE-UMa recorreu também aos serviços de apoio jurídico prestados por esta organização sindical. Não deixámos, no entanto, de proceder ainda, dentro dos prazos, ao recurso à Direção da FCT, previsto no Regulamento. Os processos ainda decorrem.

E finalmente, quando nada fazia prever, o CIE-UMa recebeu da parte da FCT, no mês de novembro, a avaliação da atividade realizada em 2011-2012 (qual estado caótico em que estamos envolvidos), comunicando a nossa Aprovação com A, assinada por quarenta e uma individualidades, sob a coordenação de João Miguel Marques da Costa, com a seguinte apreciação:

“Os objectivos científicos previstos foram plenamente atingidos. Os resultados evidenciam grande qualidade científica, nomeadamente ao nível das publicações em revistas internacionais com referee. O projecto contribuiu para a formação de jovens investigadores e para a projecção internacional da equipa envolvida (…).”


O que pensar disto tudo? Em que é que ficamos então? A CEPAC considera que estamos no caminho certo; a FCT/ESF acha que somos medíocres; e agora a FCT considera-nos os melhores. Socorro! Os deuses devem estar loucos!"


Sousa, J. M (Universidade da Madeira)

Sem comentários:

Enviar um comentário

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.