quinta-feira, 31 de julho de 2014

O ESCLARECIMENTO DO ESCLARECIMENTO DA FCT

Na passada quarta-feira dia 30 de Julho, a direcção da Fundação para a Ciência e Tecnologia resolveu enviar uma mensagem de correio electrónico aos investigadores da sua base de dados, para prestar"esclarecerimentos" acerca do processo de avaliação em curso. Infelizmente o esclarecimento não é nada esclarecedor, fica aqui o esclarecimento do esclarecimento, por Paulo Jorge Dos Santos Coelho, Director do Centro de Química – Vila Real.

Exmo Presidente da FCT
Achei uma boa ideia este esclarecimento mas não posso deixar de manifestar a minha discordância com as explicações fornecidas

Não é verdade que esta avaliação esteja a conduzir à destruição do sistema de instituições de I&D em Portugal.
ERRADO. Várias unidades classificadas anteriormente várias vezes como Excelentes ou Muito Bom viram a sua classificação baixar sem fundamentação adequada para Fair ou Bom. A qualidade delas não baixou drasticamente, esta avaliação é que foi mal conduzida. Isto significa a destruição, sem sentido, de muito do que foi construído nos últimos 20 anos.

É verdade que a FCT se disponibilizou para apoiar as unidades que não passaram à segunda fase
Isto é lançar areia para os olhos. A enorme contestação que surgiu resulta dos erros grosseiros desta avaliação. Quem foi mal avaliado não quer migalhas para se reestruturar, quer sim ser correctamente avaliado. Não é só a questão da nota, é simplesmente ser avaliado com justiça, o que não foi manifestamente o caso.

É verdade que os pedidos de Audiência Prévia recebidos serão todos analisados pelos painéis de avaliação.
Eu espero sinceramente que haja abertura para analisar, sem preconceitos, os pedidos de Audiência Prévia, o que não aconteceu na fase de Rebuttal onde estes comentários foram simplesmente ignorados. Tinham-se evitado muitos problemas se tivesse havido abertura para os ler cuidadosamente e reflectir sobre o que estava a acontecer.

Não é verdade que o contrato assinado entre a FCT e a European Science Foundation(ESF) exclua automaticamente metade das unidades da segunda fase da avaliação.
Pois não parece. Os relatórios de consenso parecem encomendados para se adaptarem às notas já decididas. Em muitos casos o painel limitou-se a enumerar as ligeiras críticas que os avaliadores tinham escrito, ignorando todos os elogios. Se as notas não foram decididas antes de escrito o texto parece. Aliás, há muitos casos em que depois de receber 3 notas acima de 16, incluindo a do membro do painel da área, o painel, juntando os membros que não são da área, decide baixar a nota para 14, 13 e 12. Ás vezes as notas contam, outras não. Isto não parece nada uma avaliação robusta. Parece tudo arranjado à medida. Ninguém entende a lógica.

Não é verdade que a FCT tenha imposto restrições para qualquer área científica ou região geográfica.
Mais uma vez não parece porque as unidades mais pequenas do interior foram dizimadas, apesar de cumprirem todos os requisitos legais, sendo aliás criticadas e penalizadas por serem pequenas (mesmo com mais de 25 investigadores).

Não é verdade que esta avaliação esteja a deixar sem trabalho ou a forçar à emigração milhares de investigadores.
Os investigadores não docentes das 150 unidades eliminadas vão abandonar as mesmas.

É verdade que este é o primeiro exercício de avaliação em que todas as unidades de I&D são avaliadas de forma competitiva, com igualdade de critérios e de oportunidades de financiamento, independentemente da sua dimensão ou estatuto jurídico.
ERRADO. Não houve equidade. As unidades não foram avaliadas pelas mesmas pessoas. Cada unidade foi avaliada por avaliadores externos diferentes e desconhecidos e o relatório de consenso não foi feito pelas mesmas pessoas para cada área, dado que a FCT diz que cada grupo de 4 avaliadores avalia 10 unidades. Ora há áreas com mais de 10 candidaturas. Isto não é equidade.
A avaliação de 2007 foi bem melhor. Pode-se não concordar com a nota mas não houve na altura esta sensação de profunda injustiça, incompetência e arbitrariedade.

Não é verdade que as unidades não tenham sido avaliadas por especialistas na sua área científica.
FALSO. É evidente que não foram. Se o painel final das ciências exactas tem, físicos, químicos, matemáticos, especialistas em nanotecnologia, biotecnologia, etc, é evidente que houve avaliadores de outras áreas científicas a pronunciarem-se sobre o que não deviam. Não é aceitável ter um matemático a opinar sobre química. Eu não confundo “domínio científico” com “área científica”. No painel de Ciências exactas só há 2 Químicos.
Aliás a vossa explicação começa mal e contradiz a afirmação inicial “Cada unidade foi avaliada inicialmente por três avaliadores independentes, dos quais no mínimo dois são especialistas na área de investigação da unidade” Se são no mínimo 2 há 1 que não é da área logo as unidades foram, de facto avaliadas, por quem não devia.

Não é verdade que as unidades tenham sido avaliadas por um júri secreto.
FALSO. A identificação dos avaliadores remotos não foi fornecida e aqui começaram os problemas tal a ordem de disparates que eles escreveram. Enquanto que a FCT está confortável com 20% de casos de notas díspares iniciais, eu não estou. Não aceito enganar-me na correcção de 20% dos meus exames. Nem 1%. Se alguém me aponta um erro trato logo de o investigar. Nesta avaliação temos demasiados erros grosseiros para estarmos confortáveis e até dizer que a “avaliação da ESF está acima de qualquer suspeita
Vejamos um caso concreto da robustez desta avaliação:
Na área da Química o Centro de Química – Vila Real obteve a nota 3 na avaliação curricular, objectiva e baseada na bibliometria, e foi excluído. Mas os centros que têm índices bem menores obtiveram 4 e passaram. Vejamos atentamente:
O CQVR apresenta todos os índices (excepto 1 que está próximo), melhores do que 3 das unidades aprovadas.
Estudo bibliométrico de 4 unidades da área de química. Fonte: FCT
Centro
Pub
/FTE
Cit
/FTE
h
Impact
Top-1% /FTE
Top-5% /FTE
Top-10% /FTE
Top-25% /FTE
Int Col
/FTE
A:
Resultado
CQVR
14.08
138.84
24
1.362
0.22
1.04
2.88
6.8
6.24
3
GOOD
Coimbra
11.86
84.94
25
0.989
0.04
0.5
1.64
6.08
5.72
4
2ª Fase
CQB
(Lisboa)
11.9
102.02
30
1.102
0
0.66
2.4
6.5
4.3
4
2ª Fase
Hércules Lab
4.54
23.98
9
1.028
0
0.18
0.28
1.66
0.84
4
2ª Fase


É esta a robustez da avaliação?
Num jogo de Futebol que termina 7-4 devemos dar os parabéns a quem marca 4, que esteve muito bem e passa à fase seguinte, e dizer a quem marca 7 que deve reestruturar-se porque assim não vão lá!
Consegue-me explicar porque razão, com índices melhores tivemos 3 enquanto que as outras unidades com índices piores tiveram 4 neste item objectivo? Agradecia uma explicação.

Aliás os tão elogiados avaliadores até conseguem concluir que para a minha unidade:
The impact in terms of citations is somewhat more limited”.
Devem estar a gozar não? Então nós com 138 Cit/FTE temos um impacto mais limitado que as outras 3 unidades que têm valores bem inferiores (84, 102, 24) e que obtiveram a nota 4 e passaram?

Sr Presidente:
Ainda há tempo para corrigir os erros grosseiros mas tem de haver vontade de fazer justiça. Não podem penalizar as unidades mais produtivas em detrimento das menos produtivas. Não consigo entender a lógica disto.
Toda a gente comete erros mas reconhecer a sua existência é o primeiro passo para os corrigir. Insistir cegamente que esta avaliação correu muito bem é autismo.
Paulo Coelho
Director do Centro de Química – Vila Real

1 comentário:

  1. http://expresso.sapo.pt/centro-de-linguistica-do-porto-contesta-ma-avaliacao=f884255

    ResponderEliminar

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.