Por Gautam Naik | The Wall Street Journal
Dois anos atrás, um grupo de pesquisadores de Boston publicou um estudo descrevendo como haviam destruído tumores cancerígenos atacando uma proteína chamada STK33. Cientistas da empresa de biotecnologia Amgen Inc. logo aproveitaram a ideia e encarregaram mais de vinte pesquisadores de tentar repetir o experimento, com o objetivo de criar um remédio.
Foi um desperdício de tempo e dinheiro. Após seis meses de trabalho intensivo em laboratório, a Amgen concluiu que não conseguiria replicar os resultados e descartou o projeto.
"Fiquei decepcionado, mas não surpreso", diz Glenn Begley, vice-presidente de pesquisas da Amgen em Thousand Oaks, na Califórnia. "É comum não conseguir reproduzir resultados" publicados por pesquisadores em revistas especializadas.
Este é um dos "segredinhos" da medicina: a maioria dos resultados, inclusive os que aparecem em publicações de primeira linha com revisão pelos pares, não podem ser reproduzidos.
"É uma questão muito séria e preocupante porque, obviamente, engana as pessoas", que implicitamente confiam em resultados publicados em revistas respeitadas, diz Bruce Alberts, editor da revista "Science". A publicação científica americana dedicou grande parte de sua atual edição ao problema da "replicação de experiências científicas".
A reprodutibilidade é o alicerce de toda a pesquisa moderna, o padrão pelo qual as afirmações científicas são avaliadas. Os fabricantes de medicamentos dependem muito da pesquisa acadêmica em estágio inicial e podem desperdiçar milhões de dólares em produtos, se depois se verificar que os resultados originais não são confiáveis. Pacientes podem se inscrever em ensaios clínicos com base em dados conflitantes, e por vezes não se beneficiar, ou mesmo sofrer efeitos colaterais perigosos.
Há também um problema mais traiçoeiro e mais difundido: a preferência por resultados positivos.
Ao contrário das empresas farmacêuticas, os pesquisadores acadêmicos raramente realizam experimentos de maneira "cega". Isto torna mais fácil escolher apenas os resultados estatísticos que apoiam um resultado positivo. Na busca de empregos e de financiamento, o crescente exército de cientistas precisa de mais experiências bem-sucedidas em seu currículo, não de experiências fracassadas. Uma explosão de novas revistas científicas e acadêmicas vem contribuindo para aumentar a pressão.
Quando se trata de resultados que não podem ser reproduzidos, Alberts diz que a complexidade cada vez maior dos experimentos pode ser a grande culpada. "Isso tem a ver com a complexidade da biologia e com o fato de que os métodos [usados em laboratórios] estão ficando mais sofisticados", diz ele.
É difícil avaliar se o problema da reprodutibilidade vem piorando; há alguns sinais sugerindo que esse talvez seja o caso. Por exemplo, a taxa de sucesso dos testes clínicos de Fase 2 - onde se mede a eficácia de uma droga em seres humanos - caiu de 28% em 2006-2007 para 18% em 2008-2010, segundo análise global publicada na revista "Nature Reviews" em maio.
"A falta de reprodutibilidade é um elemento do declínio no sucesso da Fase 2", diz Khusru Asadullah, executivo de pesquisas da Bayer AG.
Em setembro a Bayer publicou um estudo relatando que interrompeu quase dois terços de seus projetos iniciais que visavam produzir novas drogas porque os experimentos feitos em seus laboratórios não conseguiram igualar as alegações feitas na literatura.
A empresa farmacêutica alemã informa que nenhuma das alegações que ela tentou validar constava de artigos que foram depois retratados, ou que estavam sob suspeita de serem falhos. Mesmo dados publicados nas revistas de maior prestígio não puderam ser confirmados, segundo a Bayer.
Em 2008 a Pfizer Inc. fez uma grande aposta, com valor potencial de mais de US$ 725 milhões, de que poderia transformar um remédio russo para resfriado de 25 anos de existência em uma droga eficaz contra Alzheimer.
A idéia era promissora. Publicados pela revista "Lancet", os dados de pesquisadores da Faculdade de Medicina Baylor e outros centros de pesquisa sugeriam que o anti-histamínico chamado Dimebon podia melhorar os sintomas em pacientes de Alzheimer.
Descobertas feitas mais tarde e apresentadas por pesquisadores da Universidade da Califórnia em Los Angeles em uma conferência em Chicago mostraram que a droga aparentemente evitava a piora dos sintomas por até 18 meses.
"Estatisticamente, os estudos eram muito robustos", diz David Hung, diretor-presidente da Medivation Inc., firma de biotecnologia de San Francisco que patrocinou ambos os estudos.
Em 2010 a Medivation, juntamente com a Pfizer, divulgou dados de seu próprio ensaio clínico para o Dimebon, envolvendo quase 600 pacientes com sintomas leves a moderados de Alzheimer.As duas empresas informaram que não conseguiram reproduzir os resultados da "Lancet". Também indicaram que não encontraram nenhuma diferença estatisticamente significativa entre os pacientes que tomaram o medicamento em relação aos que tomaram um placebo.
A Pfizer e a Medivation acabaram de concluir um estudo de um ano sobre o Dimebon em mais de 1.000 pacientes, em mais um esforço para ver se a droga poderia tratar Alzheimer. Os resultados devem ser anunciados nos próximos meses.
Os cientistas têm várias teorias sobre por que duplicar resultados pode ser tão difícil. Laboratórios diferentes podem usar equipamentos ou materiais ligeiramente diferentes, levando a resultados divergentes. Quanto mais variáveis há em um experimento, mais provável é que pequenos erros não intencionais acabem fazendo as conclusões se inclinarem de uma forma ou de outra. E é claro que dados que foram manipulados, inventados ou alterados fraudulentamente não resistirão a uma futura análise.
Segundo a Real Sociedade do Reino Unido, em 2007 havia 7,1 milhões de pesquisadores trabalhando no mundo todo em todas as áreas científicas - acadêmicas e empresariais - 25% a mais que cinco anos antes.
"Entre as razões mais óbvias, porém não quantificáveis, há uma competição imensa entre os laboratórios e uma pressão para publicar", escreveu Asadullah e outros da Bayer, em seu artigo de setembro. "Há também uma propensão para publicar resultados positivos, já que é mais fácil conseguir que estes sejam aceitos em boas publicações."
As publicações científicas também estão sob pressão. O número dessas revistas saltou 23% entre 2001 e 2010, segundo a Elsevier, que analisou os dados. Essa proliferação aumentou a competição até mesmo entre as revistas de elite, que podem gerar atenção publicando artigos chamativos, em geral com resultados positivos, para atender à demanda incessante dos meios de comunicação noticiosos.
Alberts, da "Science", reconhece que as revistas cada vez mais têm que encontrar um equilíbrio entre publicar estudos "de interesse amplo", e ao mesmo tempo garantir que não sejam sensacionalistas.
As farmacêuticas também têm uma queda pelos resultados positivos. Um estudo de 2008 publicado na revista "PLoS Medicine" por pesquisadores da Universidade da Califórnia em San Francisco analisou dados de 33 pedidos de registro de novos medicamentos, apresentados entre 2001 e 2002 à FDA, a agência americana que regulamenta os alimentos e medicamentos. A agência exige que as farmacêuticas forneçam todos os dados dos ensaios clínicos. Mas os autores descobriram que uma quarta parte dos dados dos ensaios - em geral desfavoráveis - nunca foi publicada, porque as empresas nunca os apresentaram para revistas especializadas.
Resultado: médicos que receitam os medicamentos aprovados pela FDA muitas vezes nunca veem os dados desfavoráveis.
"Eu diria que publicar dados seletivamente é antiético, pois há seres humanos envolvidos", diz Lisa Bero da UCSF, coautora do estudo da "PLoS Medicine".
Um porta-voz da FDA disse por e-mail que a agência considera todos os dados que recebe ao examinar uma droga, mas "não tem autoridade para controlar o que uma empresa decide publicar."
As empresas de capital de risco também estão encontrando cada vez mais casos de estudos que não podem ser repetidos, e citam esse fato como uma das principais razões que lhes tiram o incentivo de financiar projetos em estágios iniciais. Antes de investir em pesquisas em estágio muito inicial, a Atlas Ventures, firma de capital de risco que apoia empresas de biotecnologia, agora pede a um laboratório externo para validar dados experimentais. Em cerca de metade dos casos os resultados não podem ser reproduzidos, diz Bruce Booth, sócio do grupo de Ciências da Vida da Atlas.
Houve vários casos de destaque nos últimos meses. Por exemplo, em setembro a revista "Science" retratou parcialmente um estudo de 2009 que estabelecia uma relação entre um vírus e a síndrome da fadiga crônica, porque diversos laboratórios não conseguiram reproduzir os resultados publicados. A decisão foi tomada depois que dois dos 13 autores do estudo voltaram a examinar as amostras de sangue e descobriram que estavam contaminadas.
Alguns estudos não podem ser reproduzidos por um motivo mais prosaico: os autores não oferecem todos os dados em estado bruto para cientistas rivais.
John Ioannidis da Universidade de Stanford tentou recentemente reproduzir os resultados de 18 trabalhos publicados na respeitada revista "Nature Genetics". Ele observou que 16 desses artigos afirmavam que os dados subjacentes sobre a "expressão gênica" para os estudos estavam disponíveis publicamente. Mas aparentemente os dados fornecidos não eram detalhados o suficiente, e os resultados de 16 dos 18 artigos principais não puderam ser reproduzidos integralmente por Ioannidis e seus colegas. "Temos que [acreditar na palavra dos colegas] que os resultados estão corretos", disse.
