sábado, 6 de setembro de 2014

FTE, produtividade científica e quotas

Recebemos do Director da Faculdade de Ciências e Tecnologia da Universidade de  Coimbra este texto, onde se aponta o dedo a mais um ERRO monumental da FCT que, se houvesse seriedade, devia ter consequências numa reavaliação:

Não obstante os indícios que têm sido apresentados em contrário, a FCT tem mantido a posição de que não existem quotas no processo de avaliação. Se tal é correto, a decisão por parte dos painéis de excluir metade das unidades de investigação a concurso baseia-se estritamente numa avaliação de mérito absoluto, entendendo que estas não cumprem os critérios de qualidade mínimos que são exigíveis em atividade de investigação com nível internacional. Numa avaliação deste tipo é normal que assuma algum relevo a produtividade científica passada, normalizada em função da dimensão das unidades, o que permite apurar indicadores verdadeiramente comparativos com padrões internacionais. Embora tardiamente, após a avaliação preliminar por três referees e a subsequente fase de rebuttal, a FCT pareceu caminhar neste sentido ao disponibilizar um estudo bibliométrico encomendado à Elsevier. Neste estudo constava um fator de normalização designado por FTE (full time equivalent) researchers, a partir do qual eram calculados elementos relevantes como o número médio de publicações e de citações por investigador, com valores globais e por percentis função da qualidade das revistas.

Sendo o conceito de FTE intuitivo e óbvio, foi algo estranho verificar que o cálculo dos valores reportados pela FCT não era suscetível de ser reproduzido por engenharia inversa, sendo os valores superiores ao número de membros integrados mas não correspondendo à soma destes com colaboradores, bolseiros, estudantes de doutoramento ou de combinações de diferentes grupos. Na impossibilidade de compreender os valores de FTE, foram pedidos esclarecimentos à FCT, sem resposta imediata, tendo entretanto sido recebidos os resultados da fase seguinte da avaliação com a atribuição da classificação final harmonizada pelos painéis de avaliação. Estes painéis tiveram seguramente acesso ao estudo bibliométrico, pois em muitos casos nos relatórios das unidades são referidas as taxas de publicação e citação normalizadas resultantes daquele estudo (ainda que por vezes com discrepâncias incompreensíveis num processo que se pretende rigoroso). Na impossibilidade de compreender os dados, a generalidade das unidades não terá sequer comentado os valores de produção científica que lhe foram atribuídos no rebuttal à proposta de classificação harmonizada.

Em momento incerto, mas que tudo indica muito recente e posterior à atribuição das classificações harmonizadas e ao subsequente rebuttal das unidades (finais de agosto?), verifica-se que a FCT republicou no seu site o estudo bibliométrico da Elsevier com correção dos valores de FTE. Esta correção é igual em praticamente todas as unidades e consiste numa simples divisão dos valores anteriores por 2. Não sendo percetível a origem do erro na primeira versão do estudo, é certo que os novos valores são agora consonantes com o esperado – soma das percentagens de tempo dedicadas à unidade por cada um dos seus membros integrados. Esta correção, efetuada num momento já adiantado do processo de avaliação e certamente da responsabilidade da FCT e não da Elsevier, tem uma consequência dramática nos resultados do estudo bibliométrico, duplicando a produtividade per capita das unidades em fatores relevantes como o número de publicações e de citações!

Num processo de avaliação sem quotas, certamente que os valores de produtividade corrigidos são um elemento muito importante que deveria ser de novo reapreciado pelos painéis, uma vez que colocam a ciência portuguesa num patamar de mérito absoluto muito superior ao que foi tido em conta na avaliação anteriormente efetuada. Expectavelmente, decorrerá desta reapreciação uma subida generalizada das classificações das unidades e uma redução significativa da percentagem das que não tiveram acesso à segunda fase, sem prejuízo da necessidade de correção de casos específicos de manifesta subavaliação através de outros mecanismos.

Caso a FCT não entenda proceder a uma reapreciação da classificação de todas as unidades face a este erro agora detetado, podemos concluir que o considera irrelevante por afetar todas as unidades de igual forma, o que constitui indicador de que a avaliação é afinal de carácter meramente relativo entre as unidades a concurso e como tal estruturada por quotas definidas à partida.

Luís Neves

Diretor da FCTUC

5 comentários:

Unknown disse...

Existe um possível factor 2 muito óbvio mas muito susceptível a confusões que provém da maneira como se contam os investigadores que são professores universitários.

António Pedro Pereira disse...

Saiu hoje uma notícia na imprensa que talvez merecesse aqui um post?
Li-a hoje num jornal semanário e, a propósito dela, fiz este pequeno comentário que distribui pelos meus amigos.
«Paulo Veríssimo, cientista da computação que dirigia o Laboratório de Sistemas Informáticos de Grande Escala (LaSIGE) na Faculdade de Ciências de Lisboa, unidade de investigação que não passou na 2.ª fase de avaliação da FCT, teve de aproveitar a oportunidade (de emigrar), pois estava a viver acima das suas possibilidades.
Concorreu a uma bolsa de investigação (socialista, certamente) no Luxemburgo e a mesma (desperdício puro) foi-lhe atribuída no valor de 5 milhões de euros, indo criar uma equipa de investigação no Centro Interdisciplinar para a Segurança, Fiabilidade e Confiança (SnT) da Universidade do Luxemburgo.
É o que dá Portugal andar a formar ignorantes numa Escola Pública da brincadeira e depois em universidades de compadrio e vão de escada.
Acabado o dinheiro dos outros (dos nossos impostos e dos empréstimos externos), só lhes resta tentarem a sorte nos países do 3.º mundo.
Foi o que mais este oportunista fez.
E não é que conseguiu uma pipa de massa?
Bem arrependidos vão ficar os luxemburgueses daqui por uns anos.
Nós livramo-nos de mais este chupista que vivia à nossa conta.
Viva o Passos, o Crato, o Miguel Seabra e a FCT.
Portugal vencerá!»
Só a ironia nos pode livrar das úlceras gástricas.

Rui Baptista disse...

Julgo que o casamento, mesmo que ainda só"de facto", entre uma "Escola Pública de
brincadeira e depois em universidades de compadrio e vão de escada" (penúltima e última linha do 3.º § do seu comentário, meu caro Manuel da Silva) deixa pairar a dúvida do grau de ensino da referida Escola Pública frequentada por mais este "oportunista ou chupista que vivia à nossa custa": escola pública do ensino secundário, do antigo ensino médio ou do ensino politécnico?

Simples curiosidade minha por ter publicado hoje um post, neste blogue, em defesa da escola pública do ensino não superior.

Cumprimentos cordiais,

António Pedro Pereira disse...

Senhor R. Baptista:
O meu comentário só é compreensível à luz da minha relutância em ter uma úlcera gástrica, pelo que me socorri da ironia.
Que cada um leia como melhor o entender.
Por aqui me fico.

Rui Baptista disse...

Senhor M. Silva:
Sou pouco dado em resolver advinhas, salvo esta: "Qual é a coisa qual é ela que é branca por fora e amarela por dentro?"

Dada a fraqueza em confessar esta minha limitação, e esperançoso de não vir a ter uma úlcera gástrica, por aqui me fico porque a saúde psicossomática é um bem precioso!

DUZENTOS ANOS DE AMOR

Um dia de manhã, cheguei à porta da casa da Senhora de Rênal. Temeroso e de alma semimorta, deparei com seu rosto angelical. O seu modo...