Facts about the FCT/ESF science evaluation: the story so far

sábado, 31 de Agosto de 2013

Ranking e carteiras de investimentos

O post do Armando sobre o ranking dos centros de investigação e o do David sobre a comunicação em ciência, fez-me retornar a este tema que tinha tocado de leve há uns tempos.

Gerir uma carteira de investimentos não é particularmente complicado, por muito que o pessoal das finanças vos queira vender o contrário. Só existe uma maneira de cobrir o risco associado a um investimento e essa maneira é a diversificação. O problema é "o que é diversificação?". Podemos encarar diversificação como sendo muitos investimentos, mas a crise do imobiliário veio de muitos investimentos. O que acontecia com esses investimentos é que estavam correlacionados, no caso pelo mercado da habitação. E na verdade, todos os investimentos estão correlacionados e, em casos extremos, essa correlação pode ser de 1. Para quem quiser aprofundar o tema, há recursos muito bons na net, procurem pelo teorema de Markowitz e respectivas criticas.

O que nos traz ao ranking dos centros de investigação (*) e à minha sugestão. O dinheiro da FCT é dinheiro que o colectivo destina a melhorar  vida do colectivo. Concorre, portanto, com despesas sociais, como condições de vida nos orfanatos, comparticipações de medicamentos, acompanhamento de crianças hospitalizadas e conseguia ainda encontrar 100 melhores justificações de gastar dinheiro que em centros de investigação.

Quem me está a ler que não viva de dinheiros da FCT já está a encontrar uma dessas formas para as quais não há mesmo dinheiro. Isto para dizer que não se compensa uma criança sozinha num hospital com papers e citações, não se diz ao idoso que paga mais pelo medicamento porque o Sr. Dr. Silva publicou mais um estudo de calcetaria marítima aplicada. Papers e citações não são forma de avaliar um investimento, tragam-me valor económico que me permita dizer que se o medicamento é mais caro hoje é para que seja muito mais barato para os meus filhos. Quanto vale a carteira de investimentos da FCT, em Euros? Quanto vale a carteira de projectos de cada um destes centros, em Euros? Não é quantos euros recebeu, é quanto vale hoje e quanto vale hoje é quantos euros vai dar a receber ao colectivo que investiu nele.

Ao ver os números avançados pelo Armando e se fizer um mapeamento directo entre papers/citações e euros consumidos, a reação de qualquer pessoa seria "mas o que é que estes gajos andam lá a fazer?" Curiosamente, admitindo que a comunidade científica portuguesa é uma fábrica de papers, é um investimento terrível. O custo de cada paper é, em média, tão alto que é melhor fechar já tudo, isto para não falar do custo da citação. Mas o estudo do Armando (que sei ser muito mais que isto) está errado?

Bem, se olharmos para aquilo que os cientistas acham que o trabalho deles é, não. Mais, se avaliar por alguns comentários que foram feitos a posts meus, é exactamente isto. A minha visão "economicista" da investigação científica é muito mais favorável à continuação deste investimento que a visão protocolar do cientista profissional. Se nos cingirmos a esta, temos que admitir que é um sector a abandonar como seria o cultivo de mangas no Alentejo.

Mas se fugirmos o critério usual e passarmos para o valor económico, teremos resultados diferentes? Não tenho a menor dúvida. Como o medir? Pois, lembram-se do post David e da importância da comunicação? É para isto que ela serve antes de tudo o resto. Levar os resultados de um paper de matéria condensada a ter valor económico passa, em primeira mão, pela possibilidade daquele ser consumido. Se estamos à espera que alguém que passa o seu dia de volta dos seus problemas vá olhar para os (pelos vistos poucos) paper e traduzir aquela metalinguagem que serve mais para separar méritos que para divulgar, o melhor é esquecer. Aliás, arrisco-me a dizer que um paper de matéria condensada não vale uma única impressão por si só.

A alternativa é ter pessoas de formação científica na rua, a entregar o valor económico do paper à sociedade que o pagou que se atinge fechando esses centros e obrigando as pessoas a procurar emprego em actividades economicamente válidas. De que forma for, esse dinheiro gasto em investigação tem que ser devolvido com proveitos.

Mas mesmo que o valor do paper fosse alto, o valor da carteira era alto? Não, não era. Fosse o que fosse que fizesse o valor do paper alto, isto significa uma enorme correlação entre os retornos dos vários projectos de investigação. O resultados da carteira têm que ser diversificados. Têm que produzir pessoas qualificadas, tratamentos, processos, aquilo que for possível de colocar de formas diferentes na economia, em todos os sectores, em todas as actividades. E, mais uma vez, vamos dar à comunicação e como obtemos o retorno do investimento que fazemos.

Concluindo, se olharmos para a investigação como uma carteira de investimentos que consome euros e produz papers, é fechar. Até poderíamos fazer o mapeamento directo entre papers e euros, que o resultado é o mesmo.  Temos que encarar como uma carteira que consome euros e produz euros. E produz euros com riscos reduzidos. Daí a importância deste trabalho do Armando (que tenho vindo a acompanhar com interesse e porque ele me tem dado a honra de partilhar algumas coisas comigo como fez hoje com vocês) e da comunicação em ciência que o Carlos e o David têm insistido. Porque, papers, meus caros, isso é para estudantes e vocês já são "crescidinhos". A não ser que a sociedade vos possa pagar o salário em citações, claro...

(*) O Centro a que estou ligado até está muito bem colocado...  

Ranking de Unidades de I&D nacionais

Usando uma base de dados recentemente disponibilizada pela Fundação da Ciência e Tecnologia sobre um estudo de produtividade científica (medida esssencialmente por dados bibliométricos) e tirando partido do package Googlevis para R, construi um gráfico interactivo para visualizar os resultados.

O gráfíco pode ser visualizado clicando na figura abaixo. Os eixos podem ser mudados seleccionado o menu. Como rating usei uma simples média geométrica entre o número de publicações por unidade ETI e número de citações médio (MCS) por unidade ETI (Todas as definições disponíveis no site da FCT - repetidas abaixo do gráfico). Claro  que outras definições poderiam ter sido utilizadas (sugestões aceitam-se).

Data: df • Chart ID: MotionChartID31e050341bf5
R version 3.0.0 (2013-04-03) • googleVis-0.4.4Google Terms of UseData Policy

CWTS bibliometric indicators:
  • P – Number of publications in international journals of the unit of analysis in the entire period;
  • TCS – Number of citations received by P during the entire period, excluding self-citations;
  • MCS – Average number of citations without self citations per paper;
  • PP (uncited) – Percentage of publications not cited by others (in the given time period);
  • MNCS – Mean field normalized citation score. This is the actual number of citations (without self citations) divided by the expected number of citations on a paper basis.  The expected number of citations is based on the world-wide average citation score without self-citations of all similar papers belonging to the same field (journal subject category).  In this way, a field normalized score is calculated for each paper.  Next, the MNCS indicator is computed for the unit of analysis by taking the average of these field-normalized citation scores for individual papers.  A value above 1 indicates that the mean impact for the unit is above world average whereas a value below 1 indicates the opposite.
  • MNJS – Mean normalized journal scoreIndicates the average citation impact of the journals that are used by the unit and is calculated based on the same principles as the MNCS.  The indicator shows whether the unit publishes in top or in sub-top journals.
  • PP (top10%) – Percentage of highly cited publications. Indicates the average citation impact of the journals that are used by the unit and is calculated based on the same principles as the MNCS.  The indicator shows whether the unit publishes in top or in sub-top journals.
  • TNCS – Total field normalized citation score;
  • Coverage – Internal coverage. Measured by the proportion of cited references in the oeuvre linking to other WoS publications;
  • PP (collab) – Publications that are done in institutional collaboration (the shares are calculated based on the total number of publications);
  • PP (int collab) – Publications that are perfomed among institutions of more than one country (the shares are calculated based on the total number of publications);
       "no collaboration" - Publications from a single FCT institute;
       "national collaboration" - Publications from at least two authors in the same country (Portugal);
       "international collaboration" - Publication from FCT funded institutes with one or more foreign (non-Portuguese) institutions.

LET NEWTON BE!



Andando pelo Youtube descobri esta peça inglesa sobre a vida de Newton, cujo texto é do próprio Newton e dos seus contemporâneos.

sexta-feira, 30 de Agosto de 2013

Hans e os talentos pedagógicos do seu dono

Imagem retirada daqui
Eis a história deliciosa de uma fraude científica que, afinal, não o é verdadeiramente. Não fosse um estranho e quase inocente engano, convencimento, estariam, provavelmente, resolvidos alguns problemas pedagógicos relacionados com a aprendizagem. 
Mas a dúvida, a perspicácia e a persistência de um jovem assistente, a quem pouco crédito foi dado, permitiram demonstrar que a verdade, o objectivo que a ciência persegue, não tinha sido ali conseguida. Só que as crenças mais profundas são difíceis de confrontar com a verdade objectiva, pelo que as suas palavras não foram, à altura, tidas em conta.
Paul Watzlawick conta essa história num livro com o sugestivo título: A realidade é real? (Relógio d´Água, páginas 35-37).

“Em 1904, a comunidade científica europeia foi varrida por uma vaga de excitação; um dos mais antigos e acarinhados sonhos da humanidade tinha-se tirnado realidade - tinha-se estabelecido comunicação humana com um animal.

O animal era Hans, um ganharão de oito anos que pertencia a um professor reformado de Berlim, Wilhelm von Osten. A julgar pelos, relatos da época (...) a excitação espalhou-se por entre os cientistas mais sóbrios e respeitados e alcançou o público em geral. Zoólogos, psicólogos, médicos, neuropsicólogos, fisiológos, veterinários, equipas inteiras de peritos e comités académicos formados expressamente para o efeito, fizeram peregrinações ao pátio da pedra prosaico num subúrbio a norte da cidade onde Hans, o Cavalo Inteligente, como se tornou conhecido, tinha o seu estábulo e dava os seus espantosos espectáculos.

Muitos desses visitantes chegavam cheios de cepticismo mas, aparentemente, partiam totalmente convencidos e literalmente rendidos ao que tinham visto. Aquilo que Von Osten tinha conseguido, acreditando obviamente sem limites na sua profissão tinha sido aplicar os seus talentos pedagógicos não aos rapazes mas sim ao seu belo cavalo, e ensina-lhe, não só aritmética, mas também habilidades adicionais como dizer as horas, reconhecer fotografias de pessoas que tinham conhecido e muitas outras coisas incríveís.

Hans (...) comunicava as suas respostas batendo com a pata no chão. As respostas alfabéticas batia-me em alemão, letra a letra; tinha aprendido o alfabeto e a bater uma vez para o "a", duas para o "b" e assim por diante. Foi submetido a testes científicos extremamente cuidadosos para eliminar mesmo a mais remota possibilidade de qualquer espécie de sinalização secreta feita pelo dono. Mas passou em todos com distinção, especialmente porque se portava quase tão bem na ausência de Von Osten como na sua presença.

A 12 de Setembro de 1904, um grupo composto por treze cientistas e peritos, alguns membros da Academia de Ciências da Prússia, e outros professores da Universidade de Berlim publicou um relatório que afastava a possibilidade de truque ou sinalização intencional e que conferia a maior importância científica e respeitabilidade a este cavalo admirável. Menos de três meses depois foi publicado outro relatório. O seu autor foi o professor Carl Stumpf, um dos membros da comissão de Setembro, que tinha continuado a estudar o estranho cavalo. Parece que foi um dos seus assistentes, Oskar Pfungst (que mais tarde escreveu um livro acerca do assunto) que não se conseguiu convencer dessa ideia emocionante de um cavalo génio e que fez a descoberta decisiva. Mas Pfungst era apenas (...) licenciado em Filosofia e Medicina, e segundo a boa tradição académica, o autor oficial do relatório foi Stumpf.

A descoberta de Pfungst foi que, citando o relatório: O cavalo falhava sempre que a solução do problema que lhe era posto não era conhecida por nenhum dos presentes. Por exemplo, quando lhe apresentavam um número escrito ou os objectos que deveria contar, de forma a que ninguém, e principalmnte a pessoa que lhe mostrava, soubesse o que lá estava escrito, ele não acertava na resposta. Por isso o cavalo não era capaz nem de contar, nem de ler, nem de resolver problemas aritméticos. O cavalo também falhava quando lhe punham palas suficientemente grandes para o impedir de ver as pessoas, especialmente o interrogador, para quem a solução era conhecida. Por isso necessitava sempre de qualquer espécie de auxílio visual. Mas, no entanto, essa ajuda - e esta é a característica interessante deste caso - não era dada intencionalmente. O relatório continua e explica: Por isso, no que me diz respeito, a explicação seguinte é a única que se coaduna com estse factos. O cavalo deve ter aprendido, ao longo de um vasto período de resolução de problemas, a estar ainda mais atento, enquanto batia com a pata no chão, às mínimas alterações de postura corporal com a qual o dono, inconscientemente, acompanhava os passos do seu próprio processo de pensamento, para usar como sinais de término. A razão desta motivação e aguçar da atenção era a recompensa que habitualmente o esperava na forma de cenouras e pão. Esta espécie inesperada de actividade independente e a certeza e precisão da percepção de movimentos mínimos assim conseguida são extremamente surpreendentes. Os movimentos que provocavam a reacção do cavalo eram de tal forma mínimos no caso do Sr. Von Osten que é facil compreender que tenham passado despercebidos mesmo ao controle dos observadores mais experientes.

O Sr. Pfungst, no entanto, cuja prévia experiência laboratorial o tinha tornado perito na percepção de estímulos visuais de duração e extensão mínima, conseguiu reconhecer no Sr. Von Osten os diferentes tipos de movimentos que formavam a base dos vários feitos do cavalo. Para além disso conseguiu controlar os seus próprios movimentos intencionais. Agora consegue provocar quase todas as reacções do cavalo, fazendo qualquer tipo de comando. Mas o Sr. Pfungst é igualmente bem sucedido quando não respeita os movimentos que devem ser feitos e, em vez disso, foca a sua atenção, tão intensivamente quanto possível, no número desejado, uma vez que, nesse caso, o movimento ocorre quer ele deseje quer não.

Como poderemos imaginar, Von Osten (cuja honestidade nunca foi posta em causa) ficou profundamente perturbado com esta descoberta. A princípio a sua raiva virou-se contra Hans de uma forma que Pfungst descreve como trágico-cómico, mas pouco tempo depois voltou a acreditar novamente no cavalo e não permitiu mais investigações. De uma forma tipicamente humana optou por uma perspectiva da realidade que confirmava aquilo em que acreditava e não pelos factos inegáveis".

O Ramalhete

O Diário Económico pediu-me um texto sobre o que penso de Portugal; está aqui.

CIÊNCIA EM PORTUGAL NA IDADE MÉDIA

Meu artigo na revista As Artes entre as Letras:

O ensino na alta Idade Média fazia-se nos mosteiros. Por exemplo, no século XII, no Mosteiro de Santa Cruz de Coimbra aprendia-se já medicina, mas esta tinha um papel subalterno relativamente aos estudos de teologia, de direito canónico e de gramática. No reinado de D. Sancho I, alguns monges deste mosteiro foram enviados a Paris, para estudarem Teologia. Um deles, Mendo Dias, estudou também Medicina e veio depois ensiná-la em Santa Cruz. Mas foi só com a criação da Universidade portuguesa, fundada, em Lisboa, em 1290, pelo rei D. Dinis, e mudada para Coimbra logo em 1308, que se iniciaram entre nós estudos médicos devidamente organizados.
 
A instituição mais importante fundada na Idade Média é, sem dúvida, a Universidade. Ao fim de mais de nove séculos ainda perdura, sendo considerada em todo o mundo indispensável na formação avançada, na criação de novos saberes e no desenvolvimento socio-económico e cultural das regiões e dos países. A mais antiga universidade do mundo foi a de Bolonha (se deixarmos de lado escolas da Índia e no mundo árabe), a Alma Mater Studiorum, que remonta a 1088. Outras escolas se lhe seguiram, todas elas ligadas à Igreja: no mesmo século, foi só Oxford e, no século XII, Paris e Modena, em Itália. Mas, no século XIII, ocorre uma explosão das universidades, com o surgimento de uma dúzia, entre as quais a de Coimbra, que foi fundada em Lisboa (das outras três são italianas e quatro são espanholas, o que mostra a força do movimento universitário no Sul da Europa). A ligação à Igreja é bem visível no facto de a Faculdade mais importante ser a de Teologia. Outras faculdades eram Cânones, Leis e Medicina. A medidina foi desde o início a única faculdade científica.

O século mais importante para a ciência na Idade Média, se é que se pode falar de ciência nessa altura, foi o século XIII. O chamado “Primeiro Renascimento” foi marcado por um personagem português que tem muitos aspectos das sua vida e obra envoltos em mistério: Pedro Hispano ou Pedro Julião, que se tornou em 1276 o primeiro e até agora único papa português, com o nome de João XXI. Ele foi contemporâneo de uma tríade de nomes grandes do pensamento cristão: o franciscano inglês Roger Bacon, estudante em Oxford e professor em Oxford e em Paris, Doctor Mirabilis, o dominicano alemão S. Alberto Magno, Doctor Universalis, professor em Paris, e o dominicano italiano S. Tomás de Aquino, que levou a cabo a cristianização do pensamento de Aristóteles.

Roger Bacon pode ser considerado percursor do método científico, devido à sua ênfase no empirismo e na matemática. Pedro Hispano foi provavelmente aluno de Alberto Magno em Paris e deve ter sido condiscípulo de S. Tomás de Aquino. Foi um tempo de enorme controvérsia na Universidade de Paris. O papa João XXI ordenou um inquérito que conduziu às Condenações de 1277, que se somaram a outras proferidas na mesma cidade nesse mesmo século, e que atingiram algumas teses de S. Tomás de Aquino. Também no Vaticano esses tempos foram de turbulência, com vários conclaves em 1276. Foi o “ano dos quatro papas”. E João XXI não esteve mais de seis meses no trono de Pedro, ao morrer em Viterbo por acidente no ano seguinte.

Há uma enorme obra, sob a forma manuscrita, atribuída a Pedro Hispano, da qual as peças mais famosas, de que existem várias cópias, são um tratado de lógica aristotélica, o Summulae Logicales, que vigorou durante três séculos em várias universidades europeias, e as importantes obras médicas De Oculo e Thesaurum Pauperum. Mas a questão dessa autoria não está resolvida, pois há vários Pedros com obras manuscritas que nasceram na Península Ibérica nessa época. Há quem defenda que o referido tratado de lógica é de um frade dominicano. E também há quem defenda que, afinal, o Papa português pode não ser o especialista que deixou tão notável legado em medicina.

Foi a 1 de Março de 1290 que o rei D. Dinis assinou o documento Scientiae thesaurus mirabilis que instituiu a Universidade portuguesa, reconhecida pouco depois pelo papa Nicolau IV e que hoje é Património Mundial da Humanidade. Os primeiros estatutos dos chamados Studium Generali foram redigidos em 1309, sob o título Charta magna privilegiorum. Quando a Universidade de Coimbra se formou já o papa português tinha falecido há 13 anos. A Universidade medieval portuguesa foi pequena e não ficou célebre: nunca teve muitos alunos e os seus professores, com uma ou outra excepção, não ficaram famosos. A Universidade circulou entre Lisboa e Coimbra. Em 1338 foi transferida de novo para Lisboa, onde permaneceu 16 anos, regressando a seguir a Coimbra. Após nova mudança para Lisboa, em 1377, só voltou definitivamente a Coimbra em 1537, por ordem de D. João III, a fim de fugir ao bulício da capital do reino. A Universidade de Coimbra foi até 1911, com a excepção do período entre 1559 e 1759, quando existiu uma outra universidade em Évora (jesuíta, não tão abrangente como a de Coimbra), a única não só no Portugal europeu, mas também no vasto império português, em claro contraste com o que se passou no  Império espanhol.

O ensino, em Coimbra como nas outras universidades medievais, estava baseado na leitura e comentário das antigas autoridades grego-latinas. A frase magister dixit traduz o facto de a lições serem lidas pelo professor (o “lente”) e de os alunos terem de as repetir. Havia discussões (disputatio), mas a palavra dos antigos, interpretada pelos mestres, era indiscutível. Não havia lugar ao erro. A ciência moderna estava ainda por surgir.