sábado, 9 de agosto de 2014

Soluções do Passatempo de Verão FCT: a quota de 50% desmontada

Resposta ao nosso Passatempo de Verão FCT, da autoria do investigador anónimo especialista em avaliação, de onde se conclui que quanto mais se olha para a "avaliação" da FCT menos sentido ela faz:

Recordamos que o texto a analisar era o seguinte

«Esta sexta-feira, após a divulgação dos contratos, o PÚBLICO questionou novamente a FCT sobre a definição prévia de uma quota de sucesso. A fundação, através da sua porta-voz Ana Godinho, justifica que aquele valor dos 163 centros era apenas “uma estimativa” feita com base na avaliação de 2007: “[Nessa altura] cerca de 50% das unidades teve Mau, Razoável ou Bom.”»

Pretendia-se, para além dos erros já conhecidos de classificar a existência de quotas como uma estimativa, e de comparar escalas de classificações diferentes, detectar a existência de outros erros nesta argumentação da FCT.

De facto, existem mais dois erros na última linha.

O primeiro tem a ver com os nomes dados às classificações. Por uma questão de coerência, seria de esperar que a FCT mantivesse a terminologia quando se refere às classificações de concursos anteriores. As duas classificações referidas como “Mau” e “Razoável” são, na verdade, “Fraco” e “Regular” como pode ser visto na página onde estão apresentados os resultados daavaliação de 2007.

Não podemos deixar de notar que a associação entre a classificação “Poor” (que se mantém em inglês na presente avaliação) e a palavra “Mau”, se presta certamente a interpretações interessantes, não só sobre o modo como a FCT vê essas unidades como também, de um ponto de vista social, como traduz a palavra “Poor”.

O segundo erro, se bem que não seja tão rico em termos das interpretações possíveis, é bem mais interessante para a avaliação em si e para a desculpa da FCT sobre o já famoso número 163. É que, como pode ser visto na mesma página relativa aos resultados da avaliação de 2007 indicada acima, nem sequer é verdade que cerca de 50% das unidades tenha tido “Mau, Razoável ou Bom”.

As percentagens que podemos encontrar nessa página são as seguintes:

14% Excelente, 38% Muito Bom, 30% Bom, e 17% Regular e Fraco.

A soma total dá 99%, que presumimos ser o resultado de arredondamentos; vamos supor o caso mais desfavorável, em que esses arredondamentos dariam 48% para as classificações de “Bom”, “Regular” ou “Fraco”. Isto poderia ser, de facto, classificado como sendo “cerca de 50%” - até a própria ESF, ao cumprir as indicações da FCT sobre a quota de 50%, acabou por passar à segunda fase 52%, pelo que nada há a apontar aqui (a não ser a coincidência dos dois 52%).

O problema é que não são essas as contas que devemos fazer. Por um lado, houve um aumento de 7% no número total de Excelentes e Muito Bons entre a avaliação de 2003 e a de 2007 – pelo que seria de esperar um aumento também entre as avaliações de 2007 e a que está em curso.

Mas a questão muito mais grave é que, nas percentagens acima, a FCT não está a ter em conta os laboratórios associados os quais, como gosta de apontar, estão pela primeira vez a ser avaliados em conjunto com as restantes unidades de investigação. Se esses forem incluídos (pensamos que, apesar dos desígnios que a FCT terá sobre essas unidades de investigação nesta avaliação, não irá objectar que os consideremos como tendo tido Excelente ou Muito Bom nas avaliações anteriores), as contas serão diferentes.

Obtemos agora, como se pode ver no gráfico da mesma página da FCT referida acima, que o total das unidades com as classificações de “Fraco”, “Regular” ou “Bom” é de apenas 42%.

Em 322 unidades a concurso em 2013, esta diferença de 8% corresponde a cerca de 26 unidades de investigação, um número não negligenciável.

Conclui-se que, mesmo dentro da lógica pretendida pela FCT, não há um mínimo de coerência. Ou seja, não temos dúvidas de que a FCT deu instruções aos painéis para eliminar cerca de 50% dos centros da segunda fase. O que não sabemos é de onde é que veio esse número de 50%. Se foi das contas que davam como cerca de 50% o número de unidades com “Bom”, “Regular” ou “Fraco” em 2007, a FCT pode deixar de se questionar por que  há tantas unidades que não acreditam nem aceitam a sua avaliação: essas contas estão erradas.

Por tudo o que se tem visto faz sentido perguntar se ainda há algum investigador que, neste momento, tenha confiança no processo de avaliação a decorrer, ou na actual direcção da FCT.


Sem comentários:

Enviar um comentário

1) Identifique-se com o seu verdadeiro nome.
2) Seja respeitoso e cordial, ainda que crítico. Argumente e pense com profundidade e seriedade e não como quem "manda bocas".
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.