Anatomia de uma avaliação

Mais uma excelente análise, da autoria do investigador anónimo, mas identificado pelos autores do blogue.

Nos posts anteriores vimos que a avaliação em curso sofre de problemas muito graves, parte dos quais tem na sua origem uma imposição artificial por parte da FCT sobre o número de unidades a passar à segunda fase [1,2,4,6]. Uma descrição dos vários aspectos da avaliação, em inglês, que contextualiza a situação para quem não esteja familiarizado com o sistema português, foi feita em [11]. 

De facto, a razão pela qual a suspensão da avaliação já foi pedida por várias entidades pode ser resumida numa linha:

Esta avaliação não contém “erros grosseiros”; é ela própria um “erro grosseiro”.

No presente post iremos, para além de apresentar um resumo do que sabemos até agora, reforçado por resultados com base nas classificações dos relatórios de 40% das unidades em avaliação, efectuar uma análise que mostra que nunca teria sido possível concretizar a visão da FCT de eliminar 50% das unidades sem cometer erros e transfomar a passagem à segunda fase para uma número muito significativo de unidades num processo aleatório que de avaliação contém muito pouco.

A razão principal para esta impossibilidade é, na nossa opinião, muito simples: a actual direcção da FCT tem um desconhecimento notável da qualidade da investigação que se faz em Portugal nas diferentes áreas. Actuou, além disso, como se essa qualidade fosse uniforme e transversal a todas as disciplinas.

Para além de ter como consequência injustiças gritantes, pensamos que as irregularidades resultantes já identificadas põem em risco, de uma forma irresponsável, a evolução da investigação em várias áreas em Portugal, sem que se vislumbrem ganhos significativos.

Estes riscos tinham já sido apontados por várias entidades e instituições aquando da discussão das regras de avaliação em 2013 [12-15], pelo que a FCT não pode sequer ficar surpreendida pela tempestade que se abateu sobre si após a divulgação dos resultados.

Uma breve história das irregularidades

Esta avaliação partiu do princípio que faria sentido (e seria possível) eliminar 50% das unidades. Em relação a isto, afirma a FCT que a única razão pela qual o número de centros a passar à segunda fase é mencionado no contrato com a ESF se prendia com a necessidade de obter uma estimativa para o orçamento. Tudo o resto foi obra os avaliadores, que seguiram o guião (oficial) da avaliação.

Nunca a FCT explicou por que razão no anexo ao contrato relativo aos procedimentos do painel, sem relação nenhuma com o orçamento, era mencionado que o resultado da primeira fase devia produzir uma shortlist com 50% das unidades a concurso [4].

Para além disso, a FCT justifica esse número de 50% como sendo o número correspondente ao da avaliação anterior. Não só estamos a falar de escalas diferentes, mas a FCT nem sequer fez bem as contas, uma vez que não considerou os laboratórios associados [6,7] – a percentagem correcta, se é que se pode chamar assim quando se está a comparar coisas que não são comparáveis, seria de 58%.

Esta avaliação não é por pares porque os peritos nos painéis não cobriam as sub-áreas suficientes para poderem emitir julgamentos fiáveis sobre o que estavam a avaliar. Foi-lhes, no entanto, pedido que elaborassem um dos três relatórios iniciais sobre todos os centros da sua área científica e, nalguns casos, mesmo sobre áreas diferentes. Afirma o coro FCT/ESF que essas lacunas eram colmatadas pelo recurso a árbitros externos. No entanto, quando foi necessário cumprir a missão de impor as quotas, na maioria dos casos em que os árbitros internos e os dois externos discordaram, foram as opiniões dos primeiros que prevaleceram, mesmo quando não eram da área em causa. Este ponto já foi ilustrado em [2], e será reforçado abaixo.

Esta avaliação não é robusta pois uma permutação entre os peritos dos painéis e os árbitros anónimos produziria uma outra lista de centros a passar à segunda fase – isto admitindo que os árbitros anónimos, se estivessem na posição de membros do painel, também não teriam problemas em substituir a sua opinião à dos peritos que tinham sido consultados. Vimos também que uma das condições para uma avaliação robusta, nas próprias palavras do Secretário de Estado do Ensino Superior, necessitaria um conjunto de relatórios de pelo menos 5-6 especialistas. Aliás, 5 era o número máximo de peritos considerados no regulamento da avaliação que foi publicado pela FCT após a (muito breve) discussão pública e que estava em vigor aquando da submissão das propostas [2,5].

Esta avaliação não é séria, uma vez que a FCT alterou as regras do processo de avaliação quando este já decorria, tendo classificado eufemisticamente como “Additional information” um documento enviado às unidades já em Abril deste ano, no qual modificou o número de árbitros remotos a considerar e retirou da discussão do relatório final o árbitro indicado pelas unidades [5]. Não só uma alteração das regras é completamente inaceitável na altura em que ocorreu, como é evidente que sem essa alteração não teria sido possível sequer produzir os relatórios finais que foram produzidos.

Esta avaliação tem aspectos bizarros porque não se espera que a este nível haja um coordenador de um painel que tenha uma contribuição continuada nos últimos 12 anos com um dos centros que esse painel vai avaliar. Ou a unidade em causa é passada à segunda fase, com todas as suspeitas que isso poderá levantar, ou a unidade não passa, como foi o caso, e levanta dúvidas sobre a qualidade da investigação do coordenador do painel. Principalmente quando este tem um melhor registo bibliométrico das publicações em conjunto com os elementos da unidade portuguesa do que no complementar dessas publicações no mesmo período [3]. Aliás, duas das quatro publicações selecionadas por esse coordenador para o exercício de avaliação no Reino Unido em 2008 (RAE) são em co-autoria com membros dessa unidade.

Esta avaliação está em contradição com toda uma série de indicadores que incluem não só os resultados das avaliações anteriores como os próprios índices bibliométricos do estudo encomendado pela FCT e o Academic Ranking of World Universities de 2014 [8]. Pode argumentar-se que os índices bibliométricos são o que são e os rankings valem o que valem. Mas quando todos vão no mesmo sentido devemos parar para pensar.

Esta avaliação teria sido condenada de forma impiedosa caso tivesse tido lugar nestas condições num dos países que passamos a vida a dizer que devemos imitar. Vimos que os argumentos utilizados para a defender são semelhantes aos que foram mencionados pelo Ministro Britânico do Comércio, Vince Cable, em Setembro de 2010, os quais foram alvo de críticas arrasadoras por parte de cientistas e comentadores britânicos [9].

Tudo o que sabemos até agora já é mais do que suficiente para percebermos que a implementação da visão da direcção da FCT foi catastrófica, e está para além de qualquer recuperação possível – alguém pode pensar que é possível levar a sério um processo de avaliação que, para além de tudo o que foi apontado acima, está, na segunda fase, a repetir os erros graves que teve até agora (painéis reduzidos de não-especialistas que não foram instruídos sobre o funcionamento administrativo das unidades de investigação e sobre a sua integração nas universidades, os quais irão agora visitar centros durante umas escassas horas, possivelmente mais quotas, etc.)?

Mas, para além deste processo de avaliação correr o risco de se tornar dos piores de que há registo (não estamos apenas a pensar a nível nacional), podemos ainda questionarmo-nos se, com um pouco mais de cuidado, teria sido possível ter uma implementação menos incompetente que pudesse ter levado a visão da FCT até ao fim?

Ou seja, será que o problema esteve apenas na implementação, e de facto teria sido possível efectuar um corte de cerca de 50% das unidades de investigação financiadas pela FCT que, na prática, ocorreu, sem que todo o processo se tivesse transformado num circo?

O casino FCT (I): a primeira fase

Se é verdade que a implementação da avaliação foi completamente condicionada à partida pela decisão de impor quotas, e que o modo como tudo se processou foi consequência disso, não foi por essas quotas terem sido escondidas que as coisas correram mal – esse foi apenas um dos vários passos na quebra de confiança que deveria existir entre a FCT e as unidades de investigação.

O que é fundamental percebermos é que, nas condições estabelecidas pela FCT, não havia possibilidade de a avaliação cumprir a sua finalidade sem cometer erros grosseiros com consequências negativas para um número elevado de unidades cuja qualidade não está, para além de toda a dúvida razoável, abaixo de outras que passaram à segunda fase.

Para compreendermos melhor porquê, iremos utilizar o único índice bibliométrico disponível que dá uma indicação do impacto da investigação realizada de forma transversal a todas as áreas, permitindo uma comparação entre as várias unidades: o Field Weighted Citations (FWC). Este índice corresponde ao quociente entre o número de citações recebidas e o número médio de citações recebidas para publicações semelhantes. Um FWC igual a 1, indica que o conjunto de publicações tem uma performance em citações que corresponde à da média global na disciplina. Um FWC de 1,48, corresponde a uma performance que é superior à média em 48%, tal como um de 0,91 indica que teve menos 9% de citações que o esperado – ver [17] para mais pormenores.

Aqui convém ainda não esquecer que o factor de impacto (IF) é um dos índices utilizados por pessoas como António Coutinho para referir o que chamam o fraco impacto real de alguma da investigação portuguesa a nível internacional – mas o que se deve utilizar é o FWC e não o IF, não é Doutor Coutinho?

Chamamos à atenção que não estamos a afirmar que este índice deva ser utilizado para seriar unidades numa avaliação. A utilidade de índices deste tipo é servir como auxiliar para complementar a experiência dos avaliadores e permitir confirmar (ou não) os seus julgamentos.

Mas claramente o FWC contém informação relevante – estamos a falar de um número considerável de publicações e de unidades – e será usado como uma métrica para vermos que o ponto de corte indicado pela FCT não podia ter sido escolhido de pior forma.

Mais precisamente, o que iremos mostrar é que ao forçar uma separação dramática num ponto onde há o maior número possível de unidades, fez-se uma escolha arbitrária que se revelou ser a pior possível e a qual transformou o que devia ser uma avaliação num jogo de azar.

Comecemos por examinar o histograma com o número de unidades com um dado FWC – ver Figura 1. 

O FWC ao qual corresponde um maior número de unidades é à volta de 1, ou seja, em torno de unidades que estão na média internacional da sua disciplina no que respeita ao impacto das citações.

Uma pergunta óbvia é sabermos porque é que se quereria eliminar as unidades nessas condições. Embora esse seja um ponto que permitiria uma discussão interessante, somos da opinião que a direcção da FCT não fazia a mínima ideia do que estava a fazer quando escolheu o número de 50%, tendo-se baseado não na realidade da investigação em Portugal mas na sua percepção dessa realidade que, pelo que se está a verificar, parece ser algo deficiente.

O número de unidades em torno dessa média é 59, tendo 132 unidades à sua esquerda (pior performance neste índice) e 130 à sua direita (melhor performance neste índice). Ou seja, é precisamente onde há mais unidades semelhantes de acordo com o FWC que foi decidido fazer o corte.

Especificamente, se tivéssemos utilizado o FWC para fazer a seriação, teríamos agora de escolher 33 das 59 unidades que se encontram em torno do valor de FWC igual a 1 para obter uma passagem de 50%, deixando as restantes 26 de fora. Tendo em conta o ruído subjacente a esta métrica (ou outra qualquer, incluindo a resultante das opiniões de um painel), o resultado de insistir numa separação neste ponto terá forçosamente de cometer erros no que diz respeito aos critérios de qualidade que, supostamente, estariam em jogo para a determinação de quais as unidades a passar à segunda fase.

Vejamos ainda este mesmo aspecto de uma outra perspectiva. Na Figura 2 indicamos as unidades ordenadas por ordem crescente do FWC. Podemos ver que o ponto com FWC próximo de 1 corresponde a uma das zonas com menor declive do gráfico. O rectângulo a azul contém as 42 unidades com um FWC entre 0,903 e 1,102.

Fazer uma diferenciação entre unidades nesta zona corresponde a um processo aleatório. Obviamente que, se um painel for obrigado a fazê-lo, conseguirá fazê-lo, tal como qualquer um de nós. Mas os resultados deixarão sempre muito a desejar e certamente não poderão nunca ser robustos.

Vejamos agora qual foi o resultado da selecção, na perspectiva de dois índices, designadamente a dimensão das unidades e o FWC. Seria de esperar que, a haver alguma correlação entre a passagem à segunda fase e algum destes índices, isso sucederia no caso do FWC. Ou seja, seria de esperar que as unidades que passaram à segunda fase tivessem uma probabilidade de ter um FWC mais elevado.

Nas Figuras 3 e 4 representámos as curvas correspondentes à ordenação por número de membros integrados e por FWC, indicando a azul e na parte superior do gráfico as unidades que passaram à segunda fase, e a vermelho e na parte inferior as unidades que não passaram à segunda fase.

Vemos que o que sucede é exactamente o oposto do que seria expectável. Enquanto no caso da dimensão das unidades, há muito poucas barras a vermelho do lado direito do gráfico – a que surge isolada no fim corresponde ao caso do Instituto de Telecomunicações - IT –, no caso do FWC não há um padrão discernível, e vemos várias unidades com um alto valor deste índice a vermelho.

Uma forma de quantificar este aspecto é determinar a densidade de unidades que passaram à segunda fase em vizinhanças de cada ponto. Mais precisamente, para cada unidade consideremos as 10 unidades à sua direita e as 10 à sua esquerda (os resultados são semelhantes se considerarmos outras vizinhanças), e façamos uma média considerando 1 para uma passagem à segunda fase e zero caso contrário.

Os gráficos correspondentes (Figuras 5 e 6) mostram que embora haja um crescimento das densidades em ambos os casos à medida que se vai aumentando o valor dos índices correspondentes, esse aumento é maior no caso da ordenação por Integrated Members (IM) do que por FWC. Em particular, próximo dos valores mais altos de cada índice, as densidades são próximas de 0,85 e 0,6, para a ordenação por IM e por FWC, respectivamente.

Passemos finalmente à decisão da FCT de limitar o número de árbitros a apenas três (dois externos e um interno), por oposição ao que estava nas regras à data da submissão das candidaturas, que permitia um máximo de cinco, e à comparação entre as notas atribuídas pelos diferentes árbitros.

Como os resultados parciais não foram disponibilizados pela FCT, a nossa análise está dependente do número de dados que foi possível obter. Queremos deixar aqui os nossos agradecimentos a todos os que participaram activamente nesse processo, permitindo ter os dados correspondentes às notas parciais de 129 das unidades de investigação ou seja, 40% das que estão em avaliação.

Um dos pontos que já foi aqui levantado [2] foi o facto de, se por um lado os árbitros internos não eram especialistas em várias das áreas que avaliaram, por outro foram eles que tiveram de cumprir a missão de eliminar os centros até que só sobrassem 50%. Interessa, portanto, ver o que sucedeu às notas dos dois árbitros externos, do interno e, finalmente, do painel.

Comecemos por ver que as variações entre notas não foram desprezáveis. Na Figura 7 indicámos o número de centros com uma dada variação entre as notas máxima e mínima atribuídas pelos três árbitros. Verificamos que em mais de 50% dos casos houve variações superiores ou iguais a 5 pontos (em 17). Uma análise mais cuidada permite concluir que, em cerca de 50% dos casos, há dois árbitros que discordam na decisão de a unidade passar ou não à segunda fase – nos casos disponíveis, apenas duas unidades tiveram como notas mais alta e mais baixa 20 e 15; curiosamente, em ambos os casos a terceira nota foi 18 e, ainda mais curiosamente, uma passou à segunda fase e a outra não.

Os problemas associados a este tipo de situação não se poriam se houvesse 5 árbitros, pois aí seria, na grande maioria dos casos, relativamente fácil determinar qual o outlier.

Mas os pontos interessantes da comparação entre as notas do par de árbitros externos, do árbitro interno, e do relatório dito de consenso não ficam por aqui. Em [2] demos alguns exemplos onde a nota do árbitro interno foi a que determinou a passagem ou não à segunda fase em situações onde havia discrepâncias entre as notas neste ponto. Será que esses exemplos eram significativos ou representavam, como pretende a FCT, apenas alguns casos esporádicos?

Para apresentar essa comparação de forma sistemática no caso da amostra disponível, iremos comparar a média das notas do par dos árbitros externos com a do árbitro do painel, e ver depois o resultado final – ver [2] para saber como identificar os diferentes árbitros.

Concordância entre notas	Discordância entre notas: decisão sobre a segunda fase ditada pelos árbitros externos	Discordância entre notas: decisão sobre a segunda fase ditada pelo árbitro interno
57,4%	13,2%	24,0%

Dos dados apresentados na tabela torna-se claro que em quase 2/3 dos casos onde houve dúvidas, os quais correspondem a 48 dos centros desta amostra, foi a nota do árbitro interno que prevaleceu.

Isto é completamente inaceitável principalmente se tivermos em conta que os árbitros externos eram, por definição, especialistas da área da unidade em consideração, ao passo que, tendo em conta o número reduzido de especialistas em cada área em cada painel, na maior parte dos casos os internos não o podiam ser.

Terão certamente notado que as percentagens acima apenas somam 94,6%. A razão é porque há ainda uma quarta categoria com 7 casos na qual a média das notas do par de árbitros externos e a nota do árbitro interno apontam ambas para uma passagem à segunda fase, mas em que isso não sucedeu. Se é verdade que há alguns casos que se pode aceitar que seriam menos claros uma vez que uma das notas de um dos árbitros externos é um 14, por exemplo, há três casos em que claramente o painel se sobrepôs às notas dos três árbitros (18-16-17, 18-16-20 e 15-20-18).

Notemos finalmente que, nesta amostra representativa, a percentagem de centros que passaram à segunda fase foi de cerca de 62%, o que está dez pontos percentuais acima do valor real. Seria certamente interessante ter os resultados de mais centros por forma a obter dados algo mais equilibrados.

O casino FCT (II): a segunda fase

Com o início da segunda fase, recomeçaram também as irregularidades. Por exemplo, algumas das visitas têm sido efectuadas com apenas três avaliadores, quando na página 15 do regulamento original está especificado que

Each evaluation panel will be composed by 4 or 5 specialists of internationally recognized merit and competence. The constitution of the evaluation panels will take into consideration the number of applications for each scientific area, a good gender balance as well as a fair geographic and institutional distribution of evaluators. The composition of the evaluation panels will be published in the FCT website.

Sublinhamos que não é apenas uma questão do número. Dificilmente os três avaliadores que compareceram à avaliação podem ser apelidados de especialistas, uma vez que tivemos, por exemplo, unidades de Matemática a ser avaliadas por um grupo chefiado por alguém da área de física molecular. Sendo os restantes dois elementos de duas áreas específicas, como dificilmente podia deixar de ser, é difícil imaginar como é que podem estar aptos a avaliar de forma séria todas as unidades que visitaram. Tivemos também uma unidade de Física de Partículas sem nenhum investigador desta área no painel correspondente, e por aí fora, continuando o desfile de aberrações a que esta avaliação já nos habituou.

Até agora, e tanto quanto nos é possível perceber, a FCT não indicou a composição dos painéis no seu site, embora desconfiemos que sejam apenas diferentes permutações dos elementos dos painéis já conhecidos, os quais não têm a mínima capacidade para avaliar algumas das unidades a concurso. Estamos, portanto, assumidamente com um cenário próximo do caso surrealista já mencionado em [2].

Antes de prosseguirmos, não conseguimos resistir a mencionar aqui uma outra incapacidade que os painéis terão, caso estejamos no cenário provável das permutações mencionado acima. Em dois dos casos (painéis 1 e 2) será completamente impossível cumprir a condição indicada relativa ao “good gender balance”. Esta verificação não se reduz apenas a uma curiosidade sem importância. Este ponto, menor por comparação com tudo o resto, é simbólico do fosso que separa a avaliação que foi apresentada pela dupla ESF/FCT e a que de facto está a ter lugar. O que se verifica é que o que está descrito na versão original das regras de avaliação não corresponde de forma nenhuma ao que foi feito.

Voltemos agora a aspectos mais preocupantes da segunda fase.

Exceptuando (possivelmente) a direcção da FCT, há alguém que possa indicar como é que se procederá à distribuição do financiamento no final na segunda fase? Essa é uma das muitas peculiaridades desta avaliação, e mais uma para a qual foi chamada a atenção da FCT aquando da discussão do regulamento: quais são os critérios que irão reger a afectação do financiamento em função dos resultados da avaliação? [12-15]

Isto, combinado com o facto de não ter havido limite no que uma unidade poderia pedir, faz com que esta avaliação se pareça cada vez mais com um jogo de casino do que com uma avaliação científica.

Não é provável que o total pedido por todas as unidades que passaram à segunda fase seja igual ao orçamento disponível – pelo contrário, se tivermos em conta a tendência para exagerar nos orçamentos em situações semelhantes, é de esperar que o montante total seja, de facto, várias vezes esse orçamento.

Tendo em conta o que já sabemos, não será de todo improvável sejam introduzidas novamente quotas ou um outro processo dúbio qualquer, por forma a que a distribuição dos fundos se adapte à visão a priori da direcção da FCT.

Aestimatio Interrupta

(receberemos de bom grado correções de um latinista a esta tradução do Google Translate!)

A lista de irregularidades associadas ao processo em curso é, como temos visto, bastante longa e inclui vários aspectos inaceitáveis.

A lista das críticas, que teve início muito antes de serem conhecidos os resultados da primeira fase, mas que ganhou proporções wagnerianas após a publicação dos resultados, é também enorme e engloba a comunidade das Ciências Sociais, várias sociedades científicas, a Comissão Nacional de Matemática - CIM, o Conselho dos Laboratórios Associados – CLA [16], o Conselho de Reitores - CRUP, o Reitor da Universidade de Lisboa, etc.

Por outro lado, para além dos seus responsáveis e dos infelizes comentários de António Coutinho que já receberam resposta em [10,9], não houve até agora mais ninguém que defendesse publicamente este processo.

Tendo tudo isto em conta, há uma pergunta evidente a colocar à direcção da FCT e ao ministro:

Que condições é que uma avaliação teria de satisfazer para ser suspensa?

Mas já sabemos, pelo menos desde os tempos dos episódios de “Yes, Minister”, que o melhor modo de convencer um político a não avançar com uma medida é convencê-lo que se trata de uma acção corajosa, que seria de facto o que seria necessário neste momento.

Por outro lado, uma grande parte das unidades está à espera para ver o que é que lhes calha neste jogo, com a esperança que possam ter mais ou menos o mesmo que até agora ou, particularmente no caso das que têm informação privilegiada, mais do que tiveram anteriormente. Ou que venha uma nova direcção para a FCT após as próximas eleições, que desfaça alguns destes equívocos à custa de remendos.

Como consequência, há uma outra pergunta evidente para a qual não temos resposta, mas, desta vez, ela terá de ser colocada às unidades de investigação:

Numa avaliação como esta, que condições é que as unidades de investigação estariam dispostas a aguentar até decidirem recusar-se, em bloco, a participar na segunda fase?

Se as coisas continuarem como estão, pensamos que só desta forma é que a comunidade científica portuguesa pode sair deste processo de cabeça erguida e com uma dose considerável de respeito próprio.

Caso contrário, estaremos a falar de um aglomerado de unidades e de ex-unidades, cada uma por si, com todas as consequências que isso irá acarretar para a evolução da ciência em Portugal.

Estaremos a falar de unidades que aceitam que um processo cheio de irregularidades significativas dite o que se vai passar no financiamento da ciência em Portugal nos próximos anos.

Estaremos a falar de unidades que estão disponíveis a deixar-se avaliar por não-especialistas e por uma gestão que parece estar a querer submeter a investigação no país a um conjunto de ideias pré-concebidas, faltando-lhe algumas competências e sensibilidades para cumprir a missão fundamental de que foi incumbida.

Estaremos a falar daquilo que faz com que seja difícil à ciência progredir de forma continuada num país que passa o tempo a cometer erros originais quando tenta copiar os exemplos de fora.

Referências

[1] O mistério da avaliação da FCT, De Rerum Natura, 11 de Julho de 2014.

[2] A já-não-tão-misteriosa avaliação da FCT, De Rerum Natura, 21 de Julho de 2014.

[3] Uma irregularidade e um paradoxo, De Rerum Natura, 24 de Julho de 2014.

[4] A self-fulfilling prophecy, De Rerum Natura, 28 de Julho de 2014.

[5] O mistério dos árbitros desaparecidos, De Rerum Natura, 30 de Julho de 2014.

[6] Passatempo de Verão FCT, De Rerum Natura, 5 de Agosto de 2014.

[7] Soluções do passatempo de Verão FCT, De Rerum Natura, 9 de Agosto de 2014.

[8] A avaliação segundo Shanghai, De Rerum Natura, 17 de Agosto de 2014.

[9] Our mutual friends: sobre a mediocridade e a falta de originalidade, De Rerum Natura, 26 de Agosto de 2014.

[10] Carlos Fiolhais, O Grande Podador: Os erros de António Coutinho, De Rerum Natura, 12 de Agosto de 2014.

[11] Carlos Fiolhais et al., Facts about the FCT/ESF science evaluation: the story so far, De Rerum Natura, 29 de Agosto de 2014.

[12] Comunicação do Conselho dos Laboratórios Associados (CLA) à FCT sobre avaliação das Instituições de Investigação, Março de 2013.

[13] Resposta da FCT enviada ao CLA, 11 de Março de 2013.

[14] Reacção do CLA à resposta da FCT, 17 de Março de 2013.

[15] Avaliação e financiamento de unidades de investigação, Contributo da Universidade de Coimbra, 13 de Março de 2013.

[16] Comunicado do CLA relativo ao processo de avaliação em curso pela FCT das Unidades de Investigação, 25 de Julho de 2014; tradução para inglês disponível aqui.

[17] Snowball Metrics Recipe Book, Junho de 2014.