"Evaluation of Portuguese research units conducted by
the ESF: the flaws
Portuguese
research units are funded by Fundação para a Ciência e Tecnologia (FCT), the national
funding agency. FCT has been carrying out periodic evaluations for more than 20 years,
conducted by scientists from foreign institutions with the outcome of determining the
level of funding.
The latest (still ongoing) evaluation was outsourced
to the European Science Foundation (ESF). In the opinion of a large number of
scientists and associations in Portugal (http://goo.gl/KHYDwZ) and many foreign scientists, of which Amayo
Moro-Martin is but one example (http://goo.gl/U8OU9a), this evaluation is severely flawed. This
ranges from the changing of the rules when the process was underway
to the usage of incorrect bibliometric data during the first stage of the
evaluation. The latter played a role in determining which units made it to the
second stage, where the main part of the funding will be awarded. After legal
pressure FCT made public part of the contract with ESF – it still refuses to
disclose its addenda - from which we learn that ESF was instructed to a
priori exclude 50% of the units from the second stage. As may be read in the
work plan for the panels: "Stage 1 evaluation will result in a short list
of half of the research units that will be selected to proceed to stage
2." The evaluation had thus to abide by this hidden quota while it was
being publicized as being driven by quality alone.
This is not a relative evaluation to find the 50%
best units and there is virtually no alternative funding from other Portuguese
sources. Units which did not make it to the second stage will most likely not
be able to continue. This alone would already be cause for concern, but
becomes totally unacceptable when based on a flawed evaluation.
Carlos Fiolhais, Professor of Physics, University of Coimbra (Portugal)"
The letter was recently refused in the following terms:
"Thank you for your submission to Correspondence, which we cannot offer to publish. As Dr Moro-Martin already alluded to possible flaws in the ESF evaluation process and we have published a reply from the ESF (see http://www.nature.com/nature/journal/v514/n7523/full/514434e.html), we have now closed this discussion in Correspondence. "
It seems strange that "Nature" published a position of a third party (opinion piece of Dr. Moro-Martin, with many comments; the opinion piece is still still open to comments), the position of ESF, an interested party (response of Dr. Worms and Dr. Swift; immediately closed to comments after a first reaction) but did not find space to publish the position of a Portuguese scientist.
The first and unique reaction (all the others seem to have been blocked) to Dr. Worms and Dr. Swift is the following:
I think the authors should talk and address the core problem, instead of blaming/attacking the messenger Amaya Moro-Martin.
Since "Nature" does not seem to be interested in providing a forum for a free discussion about the quality of the ESF/FCT assessment and the scientific system in Portugal, scientists, irrespective of whether they are Portuguese or not, wishing to debate this and related issues, are obliged to find space in other media.
.jpg)
14 comentários:
Sobre a "Missão Rosetta" nem uma palavra neste blog. Agora sobre o processo em curso de avaliação das Unidades de Investigação por parte da FCT, é uma diarreia de "posts". Até já chega ao tal ponto de quem não é a nosso favor, é contra nós.É a verdadeira ordem das coisas...por aqui.
Sobre a "Missão Rosetta" neste blog: http://dererummundi.blogspot.pt/2014/11/artigo-publicado-primeiramente-na.html
Eu ainda estou para compreender como em pleno século XXI com a circulação da informação que existe, da internet e outras ferramentas, como é que os cientistas, portugueses ou estrangeiros estão dependentes de revistas como a nature e outras?
Porra, juntem-se todos e institucionalmente criem um site online com call of papers, um painel de revisão e metam os artigos num pdf para ser descarregado gratuitamente! É assim tão díficil? Andamos ainda a depender da imprensa de gutemberg em plena época da internet?
Tem razão. Existe uma "reimpressão" de um artigo seu já com uns dias (portanto, antes do momento, que é histórico). Nem sei como nem dei com ele no meio de destas poucas dezenas de re-posts sobre a avaliação da FCT - esse acontecimento que vai marcar a história da humanidade.
Since the usage of the simple word "flaw" in Nature was enough to prompt Dr. Worms's completely uncalled for reaction, it is clear that where things are published still matters.
As far as we know, nobody in this blog has been threatened and much stronger things have been written here (in English) about ESF's evaluation. Nor has any action been taken against the Swedish blogger who asked for his resignation from ESF:
Have you actually paused to think that maybe the evaluation of Portuguese research units by ESF/FCT is of much greater importance for Portugal than the Rosetta mission will ever be? That maybe the consequences of what should be a serious assessment exercise are quite far reaching and, being carried out in such an irresponsible way, this will cast a shadow on Portuguese science for years to come?
Just consider that the second stage is continuing in spite of the fact that ESF/FCT cannot ensure the presence of 4 or 5 specialists during the visits to the units, as is stated in the regulations. In many cases not only are there only three panel members turning up, but one of them is not familiar in any way with the area in question and is thus not able to have an informed opinion about the visited unit.
The fact that this is allowed to happen as if there was nothing wrong and that, at least apparently, the visited units accept it without a complaint, is quite telling, both of the way in which the exercise is being carried out and how it is being seen by at least some of the units under evaluation.
Pois, que absurdo da minha parte. Em Portugal o importante é discutir se há visitas para todos; quantas pessoas vão: 3 ou 5 (fundamental, por exemplo, para reservar o almoço e oferecer cafés e bolinhos); ou por que a avaliação não é com os nossos amigos, como aconteceu nas últimas duas. Isso sim, é o fundamental. Agora, missões e projectos que marcam a história da ciência, isso. não. Deixemos isso para os outros. A nós a preocupação se para o almoço é bifinhos de peru. A outros da Agência Espacial Europeia - o fazer Ciência e a divulgação da mesma.
De facto é absurdo da sua parte assumir que se consegue ir a algum lado quando as regras estabelecidas não são cumpridas ou quando se utilizam procedimentos administrativos para excluir unidades do financiamento. Ou que se consegue fazer ciência a sério quando não há continuidade e quando reina a arbitrariedade.
Ou pensa que algum dos países ou organizações envolvidos a sério e verdadeiramente responsáveis pela missão Roseta tenha sofrido avaliações do tipo daquela a que o sistema cientíco português está a ser submetido? Será que a ESA foi alguma vez avaliada por arquitectos, por exemplo?
Pois, não é possível. Nem fazer, nem sequer falar em assuntos na ciência. A prova disso mesmo é que nas duas avaliações anteriores as regras também não foram cumpridas, os júris tinham indicações concretas de unidades a excluir (convém não esquecer) e reinou o compadrio, ao ponto de membros do júri de manhã transmutavam-se em colaboradores do centro que haviam avaliado. E como se tem visto, a ciência em Portugal morreu. Por exemplo, há investigadores portugueses envolvidos na missão Rosetta.
A pobre ESA é avaliada por imensos tecnocrata. Felizmente o comissário europeu para a ciência é um homem com um longo CV académico cheio de papers. Seria absurdo se assim não fosse.
Para o anónimo de Domingo à 1:40 da manhã: se comentar, não beba!
Não se preocupe. Mas fico-lhe grato por compartilhar a sua experiência. É um primeiro passo. Coragem!
Talvez lhe estejam a tentar dizer que o facto do actual comissário ser o que é não explica nada do que está para trás (mas pode ser preocupante para o que aí vem), que apesar de haver cientistas portugueses envolvidos na missão Rosetta estes não estão em posições de responsabilidade ou críticas, que não apresentou casos concretos nenhuns sobre as avaliações anteriores e que o que está de facto a dizer é que como essas avaliações tiveram, na sua opinião, alguns favorecimentos, isso mostra que a actual pode ter os problemas generalizados que tem (não seguir as regras, não fazer uma avaliação por pares ou mesmo exigir a eliminação a priori de 50% das unidades) que isso não vai ter consequências graves para a ciência em Portugal.
Fica a dúvida se é Panglossiano ou se tem simplesmente um fraco pelo non sequitur (mas podemos perfeitamente continuar todos a viver nessa incerteza).
Viva com a incerteza que quiser. Aliás, diz-se que ignorância trás felicidade. Talvez por isso não queira recordar o que se passou (ou talvez seja um dos interessados em manter o status quo de avaliadores-colaboradores-amiganhaços e suspire pelos tempos de 2003 onde o júri até era constituído por portugueses). Talvez por isso não perceba que eu estou a dizer - e foi sempre claro - é que é extraordinário que nem uma palavrita tiveram aqui sobre a missão Rosetta; em contraponto, sobre os livros que publicam (alguns de vergonhosa qualidade) ou sobre a actual avaliação da FCT, que não é pior que as anteriores, tem sido uma diarreia. Talvez não perceba que a actual avaliação tocou directamente a alguns daqui cuja produção científica morreu mas querem viver do estatuto...e o resto são balelas ridículas. Um blog de humor próprio. Talvez não tenha percebido.
E sim, daqui por uns anos viveremos já sem grande memória desta avaliação. Até porque os investigadores podem mudar de unidades de investigação, mesmo que não queiram.
E deixo-o nessa felicidade.
Pangloss 0 - Non sequitur 1
Enviar um comentário