Resposta ao nosso Passatempo de Verão FCT, da autoria do investigador anónimo especialista em avaliação, de onde se conclui que quanto mais se olha para a "avaliação" da FCT menos sentido ela faz:
«Esta
sexta-feira, após a divulgação dos contratos, o PÚBLICO questionou novamente a
FCT sobre a definição prévia de uma quota de sucesso. A fundação, através da
sua porta-voz Ana Godinho, justifica que aquele valor dos 163 centros era apenas
“uma estimativa” feita com base na avaliação de 2007: “[Nessa altura] cerca de
50% das unidades teve Mau, Razoável ou Bom.”»
Pretendia-se, para além dos erros
já conhecidos de classificar a existência de quotas como uma estimativa, e de
comparar escalas de classificações diferentes, detectar a existência de outros
erros nesta argumentação da FCT.
De facto, existem mais dois erros
na última linha.
O primeiro tem a ver com os nomes
dados às classificações. Por uma questão de coerência, seria de esperar que a
FCT mantivesse a terminologia quando se refere às classificações de concursos
anteriores. As duas classificações referidas como “Mau” e “Razoável” são, na
verdade, “Fraco” e “Regular” como pode ser visto na página onde estão
apresentados os resultados daavaliação de 2007.
Não podemos deixar de notar que a
associação entre a classificação “Poor” (que se mantém em inglês na presente
avaliação) e a palavra “Mau”, se presta certamente a interpretações
interessantes, não só sobre o modo como a FCT vê essas unidades como também, de
um ponto de vista social, como traduz a palavra “Poor”.
O segundo erro, se bem que não
seja tão rico em termos das interpretações possíveis, é bem mais interessante
para a avaliação em si e para a desculpa da FCT sobre o já famoso número 163. É
que, como pode ser visto na mesma página relativa aos resultados da avaliação
de 2007 indicada acima, nem sequer é verdade que cerca de 50% das unidades
tenha tido “Mau, Razoável ou Bom”.
As percentagens que podemos
encontrar nessa página são as seguintes:
14%
Excelente, 38% Muito Bom, 30% Bom, e 17% Regular e Fraco.
A soma total dá 99%, que
presumimos ser o resultado de arredondamentos; vamos supor o caso mais
desfavorável, em que esses arredondamentos dariam 48% para as classificações de
“Bom”, “Regular” ou “Fraco”. Isto poderia ser, de facto, classificado como
sendo “cerca de 50%” - até a própria ESF, ao cumprir as indicações da FCT sobre
a quota de 50%, acabou por passar à segunda fase 52%, pelo que nada há a
apontar aqui (a não ser a coincidência dos dois 52%).
O problema é que não são essas as
contas que devemos fazer. Por um lado, houve um aumento de 7% no número total
de Excelentes e Muito Bons entre a avaliação de 2003 e a de 2007 – pelo que
seria de esperar um aumento também entre as avaliações de 2007 e a que está em
curso.
Mas a questão muito mais grave é
que, nas percentagens acima, a FCT não está a ter em conta os laboratórios
associados os quais, como gosta de apontar, estão pela primeira vez a ser
avaliados em conjunto com as restantes unidades de investigação. Se esses forem
incluídos (pensamos que, apesar dos desígnios que a FCT terá sobre essas
unidades de investigação nesta avaliação, não irá objectar que os consideremos
como tendo tido Excelente ou Muito Bom nas avaliações anteriores), as contas
serão diferentes.
Obtemos agora, como se pode
ver no gráfico da mesma página da FCT referida acima, que o
total das unidades com as classificações de “Fraco”, “Regular” ou “Bom” é de
apenas 42%.
Em 322 unidades a concurso em
2013, esta diferença de 8% corresponde a cerca de 26 unidades de investigação,
um número não negligenciável.
Conclui-se que, mesmo dentro da
lógica pretendida pela FCT, não há um mínimo de coerência. Ou seja, não temos
dúvidas de que a FCT deu instruções aos painéis para eliminar cerca de 50% dos
centros da segunda fase. O que não sabemos é de onde é que veio esse número de
50%. Se foi das contas que davam como cerca de 50% o número de unidades com
“Bom”, “Regular” ou “Fraco” em 2007, a FCT pode deixar de se questionar por que há tantas unidades que não acreditam nem aceitam a sua avaliação: essas
contas estão erradas.
Por tudo o que se tem visto faz
sentido perguntar se ainda há algum investigador que, neste momento, tenha
confiança no processo de avaliação a decorrer, ou na actual direcção da FCT.
Sem comentários:
Enviar um comentário