Já começaram a ser publicadas apreciações necessariamente críticas à "avaliação" da ciência em Portugal, feita pela dupla ESF/FCT. Essa avaliação já foi chumbada por toda a gente, incluindo pelo próprio governo que mandou rever uma boa parte. Enquanto se aguardam os resultados (a FCT é profundamente incompetente pois não sabe sequer o que é um prazo razoável de espera) deixo aqui um excerto de um artigo que me chegou da Prof.ª Jesus Sousa da Universidade da Madeira (área de Ciências de Educação). Destaco a frase:
"Acreditamos que apenas em regimes autoritários é possível continuar com esta determinação de cortar tudo a eito, sem parar para ouvir um clamor já generalizado contra a agenda de estrangulamento da investigação. Mas mesmo assim, até à data, paira da parte do Ministério um silêncio sepulcral."
------------------------------------------------------------------------------------------------------------------------
Sousa, J. M. (2015). O que resta da investigação em Portugal?. In N. S.
Fraga & A. F. Kot-kotecki (Orgs.). A Escola Restante (pp. 146-172).
Funchal: CIE-UMa. (ISBN 978-989-95857-6-8).
------------------------------------------------------------------------------------------------------------------------
SECÇÃO "AVALIAÇÃO EM 2014 E IMPACTO" (sem os gráficos)
"Chegada a altura da
apresentação das candidaturas para novo período 2015-2020 (entretanto 2013 e
2014 funcionaram com autorizações de prolongamento das atividades, mediante
relatórios que era preciso apresentar), nada fazia supor o que acabou por
desabar sobre a maioria das unidades.
Acreditando ingenuamente nas boas intenções da FCT em
proceder, de acordo com o Regulamento de Avaliação e Financiamento de Unidades
de Investigação, a um “exigente exercício de avaliação das instituições de
investigação que compõem o sistema científico e tecnológico nacional (SCTN)”, a
fim de “reforçar a competitividade da Europa no contexto de uma
economia global do conhecimento”, a delegação dessa responsabilidade na
European Science Foundation (ESF) não nos criou qualquer mal-estar. O Regulamento
previa que a avaliação fosse efetuada “por painéis de avaliação organizados por
áreas científicas e compostos por avaliadores de mérito e competência
internacionalmente reconhecidos, provenientes de instituições estrangeiras”.
Quem éramos nós para duvidar da isenção e competência desses especialistas? Por
outro lado, previa-se que integrasse o painel pelo menos um dos três nomes
sugeridos por cada unidade: o ponto 4, do Artigo 9º do Regulamento diz o
seguinte: “Na primeira fase da avaliação o painel recorre, ainda, a peritos
provenientes de instituições estrangeiras indicados pelas unidades de I&D a
avaliar.”
O processo decorreria em duas
fases. Determinadas as categorias qualitativas em Excepcional, Excelente, Muito
Bom, Bom, Razoável e Insuficiente (6 categorias em vez das anteriores 5),
ficariam eliminadas, numa primeira fase, e apenas com base na leitura fria dos
Relatórios de Autoavaliação, as unidades que não obtivessem, no mínimo, Muito
Bom. As de Bom receberiam um financiamento residual que significaria a sua morte a curto prazo.
O que se passou então? Numa
primeira fase de avaliação (Review process – Stage 1), as unidades foram avaliadas
individualmente por três elementos. Começou aí a nossa estranheza, pois o
CIE-UMa obteve as seguintes classificações: 17/20, 8/20 e 6/20. Não sei se
houve mais algum caso, nas 322 entidades que concorreram, de uma disparidade de
11 valores entre a nota mínima e a máxima.
Nós que somos professores e
habituados às questões de avaliação, levantaríamos de imediato reservas ao
processo. Que critérios haviam sido utilizados? Quais as ponderações? Como pessoas
tão abalizadas poderiam ter opiniões tão díspares?
De acordo com o Regulamento
devia-se ter em conta o seguinte:
A. Produtividade e contributo para o Sistema Científico e Tecnológico Nacional;
B. Mérito científico e tecnológico da equipa de investigação;
C. Mérito científico e carácter inovador do programa estratégico;
D. Exequibilidade do programa de trabalhos e razoabilidade
orçamental;
E. Impacto da produção científica, tecnológica e cultural.
Ou seja, dois parâmetros para
aquilatar o valor da equipa no passado e no presente, e dois outros virados
para a capacidade de realização futura, pois o quinto não foi merecedor de
análise, pelo menos isoladamente.
Numa leitura mais detalhada
das apreciações dos avaliadores, detetaram-se algumas afirmações erradas, bem
como juízos de valor altamente duvidosos. Procedemos ao Rebuttal (ou
contestação ainda prévia) rebatendo alguns comentários estigmatizantes sobre as
nossas opções estratégicas, e procurando salientar as incongruências entre os
três avaliadores (e. g. a alegação da nossa má utilização da expressão vocational education, revelando desconhecimento
da realidade nacional; a crítica à nossa cooperação com o mundo da lusofonia,
para privilegiar o que denominaram de Anglo world, o que nos levou a alertá-los
para o risco de se criar um incidente diplomático, por ser óbvio o etnocentrismo
e a superioridade patente do Norte relativamente ao Sul; o erro na
contabilização das nossas publicações em 2012, etc.).
Apesar desse contraditório
inicial, deram ao CIE-UMa a classificação de Insuficiente, com 10 valores,
distribuídos da seguinte maneira:
A. Produtividade e contributo para o Sistema Científico e
Tecnológico Nacional: 3 valores
B. Mérito científico e tecnológico da equipa de
investigação: 2 valores
C. Mérito científico e carácter inovador do programa
estratégico: 2 valores
D. Exequibilidade do programa de trabalhos e razoabilidade
orçamental: 3 valores
No entanto, todos os erros
que lhes havíamos apontado, bem como comentários que poderiam levantar os tais
problemas diplomáticos, nomeadamente com o Brasil, por exemplo, desapareceram,
como que por milagre. Isto é, resultou então, da parte dos avaliadores, um
texto francamente positivo e elogioso ao CIE-UMa, com o tom que havia afinal caracterizado
o texto do avaliador que nos dera a nota de Muito Bom, mas a classificação…
essa permaneceu a mesma, inabalável.
Aqui ficam registados alguns
extratos, com tradução da autora (…):
- “A equipa tem produzido
abundantemente ao longo dos últimos anos. Existe também uma produção considerável
de teses de doutoramento; mais de 30 artigos em revistas com revisão de pares.
[…]
- O painel apreciou os
esforços do centro em ir além de uma Madeira mais homogénea, estendendo a sua investigação
e a construção da sua teoria pedagógica ao Brasil que é etnicamente mais
diverso. […]
- Foi positivamente notada a
ambição de, através do seu trabalho teórico e aplicado, reverter os problemas
do sistema de educação. “Se não estamos satisfeitos com a situação atual da escola,
precisamos de conhecer as razões profundas (currículo oculto) e o seu impacto no sucesso escolar dos nossos alunos”. E através da abordagem
metodológica etnográfica, eles propõem-se a olhar profundamente para a vida interna e a prática da
escola para compreender realmente o que se está a passar nas suas turmas,
encarando-as como comunidades culturais em que os membros, aprendizes e
professores, são sujeitos fenomenológicos, com as suas histórias de vida, os
seus backgrounds e as suas próprias referências culturais. […]
- O grupo é visto como uma
unidade dinâmica e realizadora. […]
- O centro tem ambições e
deseja influenciar a ciência da educação internacionalmente.”
Vejamos agora o comentário
geral (final) do Painel, que “pretende” fazer
a síntese do que havia sido escrito anteriormente:
- “O centro de investigação
define-se bem a si mesmo como uma unidade ambiciosa na periferia da Europa, mas
com aspirações de chegar à América Latina e ao resto do Mundo. O painel
apreciou as dificuldades geográficas adicionais que o centro enfrenta, bem como
o trabalho árduo e o espírito de dedicação e paixão que atravessa as suas
afirmações escritas; contudo, os avaliadores encorajam este centro a ter uma
atitude mais positiva e a não desistir dos seus esforços em continuar a lutar
pela excelência. O painel encoraja o centro a continuar a ser mais internacional
e a aumentar a quantidade das suas produções académicas. O centro precisa de
refinar o que entende por “Madeira School of Thought”
Esta ideia pode ser uma
avenida prometedora, mas necessita de ser claramente especificada e explicada
no Relatório. O painel sentiu que o centro devia demonstrar a sua preocupação
com produção de qualidade académica. O equilíbrio entre o ensino e a investigação
académica e publicações devia ser demonstrado, refletindo uma massa de realização científica.
O painel congratula-se com os esforços do centro e ao mesmo tempo deseja ver uma clara demonstração
de que as suas ambições são realistas e bem transmitidas. A mensagem geral dos avaliadores seria a
de que este centro único continue os seus esforços para a excelência.”
Face ao resultado, o CIE-UMa
decidiu apresentar a sua Audiência Prévia (…),
procurando demonstrar a contradição entre a nota para cada critério e a
respetiva fundamentação. Além disso, apontámos ao Painel um erro que
considerámos grosseiro (reportar-se ao nosso Programa Estratégico de 2008/2012,
citando-o abundantemente, quando o que estava em análise era o Programa
Estratégico de 2015/2020), erro esse que apenas mereceu, da parte do Painel, na
Decisão final, a concessão de que se trataria, na melhor das hipóteses (it may
be), de um simples deslize (a simple slip). De novo, nessa fase, a classificação
não se moveu um milímetro.
Entretanto, o que nos parecia
ser caso único (seria problema nosso?) começou a ganhar foros de reação
nacional. Ao deixarmos de olhar para os nossos cacos (a escola restante),
constatámos que afinal não fora apenas sobre nós que desabara o caterpillar
governamental, comandado pela dupla FCT/ESF. As reacções foram-se avolumando,
umas mais violentas que outras, como pudemos ir acompanhando através do blog Rerum Natura (http://dererummundi.blogspot.pt),
sendo a maior parte dos posts da responsabilidade do físico Carlos Fiolhais e
face ao panorama nacional: das 322 unidades (em 2007 tinham sido 404 a concorrer), 144
ficaram para trás no todo nacional: ou não recebem qualquer financiamento ou
recebem-no residualmente.
Avaliação de unidades de investigação em 2014
nº centros que passaram à 2ª fase 178
nº centros que NÃO passaram à 2ª fase 144
Desencadeada a suspeita de
ter havido à partida a determinação de quotas para a passagem à 2ª fase, foi
preciso recorrer à Comissão de Acesso aos Documentos Administrativos para se
aceder ao contrato e respetivas adendas. Quando encostada à parede, a FCT não
teve outra alternativa que não fosse a de tornar públicos os documentos. A
partir de então, deixaram de existir quaisquer dúvidas se estas ainda
persistissem: as regras do jogo estavam afinal totalmente viciadas, desde o
princípio, por um compromisso assumido entre a FCT e a tal organização
científica “séria” para eliminar metade dos centros de investigação portugueses.
Preto no branco, porque obrigada a revelar, a FCT divulgou o contrato (ainda
não assinado, e esse é ainda outro problema a ser dissecado) onde constava
explicitamente
o seguinte: “Stage 1 will result in a shortlist of half of the research units
that will be selected to proceed to stage 2.”
E o que aconteceu à
investigação em educação? Perderíamos também metade das unidades? Esta é a
parte pior desta história de terror. Conforme Quadro, a destruição redundou em
muito mais de metade dos seus centros.
Quadro 2. Unidades de Investigação em Educação em 2014.
Unidade InvestigaçãoS/N (Passa ou não passa a 2.ª fase)
Centro de Investigação e Intervenção Educativas - CIIE Porto
[Porto-167] 33 S
Centro de Estudos da Criança [Braga-317] 44 S
Centro de Investigação de Políticas do Ensino Superior - CIPES
[Coimbra-757] 20 S
Centro de Estudos Interdisciplinares em Educação e Desenvolvimento [Lisboa-4114]
40 S
Investigação em Educação e Intervenção Comunitária [Almada-4587] 20 S
Centro de Investigação - Didáctica e Tecnologia na Formação de
Formadores [Aveiro-194] 85 N
Centro de Investigação em Educação [Braga-1661] 63 N
Unidade de Investigação Educação e Desenvolvimento - UIED [Nova Lx_Almada-2861]
19 N
Centro de Estudos em Educação, Tecnologias e Saúde [Viseu-4016] 72 N
Centro de Investigação em Educação (CIE-UMa) [Funchal-4083] 11 N
Unidade de Investigação e Desenvolvimento em Educação e Formação [Lisboa-4107]
88 N
Centro de Investigação em Ciências da Educação e Formação (CICEF) [Algarve-4161]
13 N
Centro de Investigação em Educação e Psicologia da Universidade de
Évora [Évora-4312] 21 N
Laboratório de Educação à Distância e eLearning [Aberta_Lisboa-4372]
17 N
Centro de Investigação Educacional [ISPA_Lisboa-4853]
Apesar de algumas flutuações nas candidaturas (não
candidatura de algumas que se tinham apresentado em 2007 e aparecimento de
outras novas), o que é certo e que resultou no mesmo número de unidades de
2007, e dessas 15, 2/3 não foram admitidos à 2ª fase.
Avaliação de unidades de investigação em educação
em 2014
nº centros que passaram à 2ª fase 5
nº centros que NÃO passaram à 2ª fase 10
Se pensarmos apenas em investigadores integrados (os tais
Doutores residentes no País), tal equivale a dizer que, dos 557 investigadores
apenas 28,1% passaram à 2ª fase, ficando para trás 71,8%.
Avaliação de unidades de investigação em educação
em 2014
nº investigadores integrados que passaram à 2ª fase 157
nº investigadores integrados que não passaram à 2ª fase 400
Comparando com a situação de
2007, vemos com clareza o movimento no sentido de eliminação da área da
educação, em termos de investigação.
Muitas foram as entidades e
organizações que denunciaram e continuam a denunciar publicamente o que se está
a fazer à Ciência em Portugal, tais como:
•- Conselho de Laboratórios
Associados;
• - Conselho de Reitores das
Universidades Portuguesas (CRUP);
• - Sociedades Portuguesas da
Química, da Física, da Estatística, da Matemática, e da Filosofia (infelizmente
a Sociedade Portuguesa de Ciências da Educação - SPCE não teve nenhuma reação);
• - Os próprios Conselhos
Científicos da FCT;
•- Um grupo das Ciências
Sociais;
•- O Reitor da Universidade de
Lisboa, individualmente, e outras individualidades através de blogs, jornais, e meios
televisivos.
Tais reclamações tiveram eco
internacional, levando a que uma investigadora astrofísica espanhola, Amaya
Moro-Martin, escrevesse um artigo de opinião sobre as falhas no processo de
avaliação dos centros de investigação portugueses na prestigiada revista Nature,
o que mereceu da parte da ESF a exigência de retratação,
sob pena de ameaça de processo judicial, o que, por sua vez, suscitou uma onda de repúdio
generalizado pela Europa fora, circulando, para subscrição, uma carta aberta europeia em
apoio da Ciência.
Entretanto, em Outubro, face
aos resultados finais da 1ª fase do processo, o CRUP tomou uma posição mais
enérgica, escrevendo uma carta endereçada ao Ministro da Educação e Ciência, Nuno
Crato, assinada pelo Presidente cessante, em exercício, António Rendas, e o
novo Presidente já eleito, mas ainda sem ter tomado posse, António Cunha.
Habituados que estamos à falta de acutilância deste órgão, surpreendemo-nos com
o tom que dela se extrai, pois afirmam que já não é possível continuar “a dar o
benefício da dúvida”, pois:
“Para que um sistema de
avaliação seja capaz de promover a excelência tem de, ele próprio, ser pelo menos
excelente, se não excepcional. Não é o caso”.
[…E que…] “Apesar de ter sido
chamada a atenção para números erros de avaliação, muitos inteiramente factuais,
diversos painéis desculparam-se de diversas formas para não retirar daí
consequências, mantendo avaliações inexplicáveis. A avaliação não presencial de
unidades de investigação é, no nosso entendimento, um falhanço pleno.” […Mais:]
“Este processo de avaliação não tem a necessária qualidade. É uma oportunidade
perdida para uma política nacional de promoção do conhecimento avançado e está a resultar numa
grave perda de confiança no sistema de
avaliação, com a desconsideração quase total dos pareceres
das universidades.”
Os reitores contestaram ainda
o argumento de privilegiar a excelência, numa “avaliação robusta”, muito usado
pelo Presidente da FCT, Miguel Seabra, e a Secretária Estado da Ciência, Leonor
Parreira. “A excelência é uma medida relativa que só surge a partir de um
universo alargado. Se esse universo não existe, a excelência rapidamente se
extingue também por falta de base de recrutamento.” A tomada de posição do CRUP
apesar de tardia, não podia ser mais dura.
É que, independentemente dos
inúmeros casos pontuais e factuais de inconsistências, erros graves, enganos nas
contas, etc., constantes da fundamentação das notas atribuídas, subsistem
muitos problemas de natureza jurídica, repetidamente apontados e que, por si
só, teriam grandes hipóteses de
fazer suspender este processo.
1. Houve mudanças de regras a meio do percurso, com a
introdução de um Aditamento, quando o processo já tinha sido iniciado;
2. Falhou o princípio da transparência, com a regra oculta
da eliminação de metade dos centros, independentemente do mérito absoluto de cada
um;
3. Os painéis de avaliação não eram constituídos por
especialistas da área que iriam avaliar;
4. Os painéis não integraram nenhum dos avaliadores
sugeridos pelos centros;
5. Eliminaram-se centros sem ter havido lugar a visitas
que são obrigatórias legalmente pelo decreto-lei 125/99 que enquadra toda a avaliação
(artigo 28- n.º 3), para contacto direto com a realidade.
Acreditamos que apenas em
regimes autoritários é possível continuar com esta determinação de cortar tudo
a eito, sem parar para ouvir um clamor já generalizado contra a agenda de
estrangulamento da investigação. Mas mesmo assim, até à data, paira da parte do
Ministério um silêncio sepulcral.
Também o SNESUP (Sindicato
Nacional do Ensino Superior) apelou à suspensão do processo, ainda no mês de
julho, tendo apresentado denúncia ao Ministério Público, em setembro, com vista
à anulação do processo de avaliação em causa. O CIE-UMa recorreu também aos
serviços de apoio jurídico prestados por esta organização sindical. Não
deixámos, no entanto, de proceder ainda, dentro dos prazos, ao recurso à
Direção da FCT, previsto no Regulamento. Os processos ainda decorrem.
E finalmente, quando nada
fazia prever, o CIE-UMa recebeu da parte da FCT, no mês de novembro, a
avaliação da atividade realizada em 2011-2012 (qual estado caótico em que
estamos envolvidos), comunicando a nossa Aprovação com A, assinada por quarenta
e uma individualidades, sob a coordenação de João Miguel Marques da Costa, com
a seguinte apreciação:
“Os objectivos científicos
previstos foram plenamente atingidos. Os resultados evidenciam grande qualidade
científica, nomeadamente ao nível das publicações em revistas internacionais
com referee. O projecto contribuiu para a formação de jovens investigadores e para
a projecção internacional da equipa envolvida (…).”
O que pensar disto tudo? Em
que é que ficamos então? A CEPAC considera que estamos no caminho certo; a
FCT/ESF acha que somos medíocres; e agora a FCT considera-nos os melhores. Socorro! Os deuses devem estar
loucos!"
Sousa, J. M (Universidade da Madeira)
.jpg)
Sem comentários:
Enviar um comentário