Sylvia Tippmann, da equipa editorial do "The Conversation", partiu do artigo de Teresa Marques e construiu dois gráficos que mostram a diferença entre os painéis na avaliação das unidades em 2007 e na avaliação actualmente em curso.
Versão interactiva dos gráficos aqui.
Em 2014 o número de painéis é muito menor (cada painel avalia mais áreas), estes são constituídos por menos avaliadores e há uma enorme quantidade de avaliadores externos aos painéis (585).
Cada uma das 322 unidades foi classificada por dois desses avaliadores externos, ou seja cada um dos avaliadores externos avaliou tipicamente uma ou duas candidaturas, não tendo as notas por si atribuídas qualquer comparabilidade. Há ainda uma terceira nota que é atribuída por um avaliador do painel. Mas estes poucos painéis são tão generalistas que não dominam todas as áreas que avaliam. No entanto, os avaliadores destes painéis que avaliam tudo e mais umas botas, foram decisivos na passagem ou não da unidade à segunda fase.
Resumindo: a avaliação das unidades em 2014 tem uma componente aleatória (notas dadas por avaliadores diferentes que não têm uma bitola comum nem visão de conjunto) e uma componente não especializada (painéis excessivamente abrangentes que avaliam mais áreas do que as que os seus membros dominam).
Sem comentários:
Enviar um comentário