Icone Instagram
Icone Linkedin
Icone YouTube
Universidade Federal de Goiás
CAMINHOS

A escolha de cerejas

Em 30/05/17 09:54. Atualizada em 31/05/17 15:27.

Luis Mauricio Bini fala sobre falta de reprodutibilidade na ciência

Luis Mauricio Bini, professor do Instituto de Ciências Biológicas da UFG

A crise da falta de reprodutibilidade na ciência é definida como a incapacidade de cientistas obterem resultados similares aos observados em estudos anteriores. Em maio de 2016, a revista Nature publicou resultados de uma pesquisa de opinião sobre esse tema. Aproximadamente metade dos entrevistados (52% de 1576 entrevistados) considera que essa crise é grave, sendo causada principalmente pela prática da “escolha de cerejas” (cherry picking). Isso ocorre quando resultados são escolhidos, conscientemente ou não, para apoiar uma hipótese, em geral, de relação significativa entre variáveis. Por exemplo, uma pesquisa hipotética pode testar se um determinado hábito alimentar apresenta efeitos em diferentes variáveis respostas. Os resultados dessa pesquisa podem indicar que esse hábito está associado com uma das variáveis apenas. Para que não ocorra “escolha de cerejas”, todos os resultados deveriam ser apresentados num manuscrito científico. No entanto, a história do manuscrito não seria tão clara e direta pois, embora não tenha uma única mensagem, ele demonstra, corretamente, que existe incerteza. Autores, revisores e editores de periódicos científicos, em geral, priorizam histórias “limpas”. Aí começam os problemas: a equipe envolvida na pesquisa hipotética pode submeter um manuscrito que relata apenas o resultado da variável que esteve significativamente associada ao hábito alimentar e, mesmo que ela submeta o manuscrito com todas as variáveis, revisores e editores podem aceitar o manuscrito para publicação somente se os resultados não significativos forem omitidos (argumentando que, assim, o manuscrito contaria uma história mais clara e concisa).

Num segundo exemplo, a equipe de pesquisa hipotética testa se diferentes estilos de vida (por exemplo, prática de exercícios físicos e consumo de vegetais) influenciam diferentes variáveis respostas. Nesse caso, existe a possibilidade real que a equipe (por conta própria ou induzida por editores e revisores), após analisar os dados e encontrar algumas relações significativas (dentre muitas testadas), além da escolha de cerejas, reformule as seções de introdução e objetivos do manuscrito com o objetivo de convencer o leitor que as relações encontradas foram previstas (antes mesmo da coleta de dados). A prática de declarar hipóteses após conhecer os resultados é conhecida como HARKing (hypothesising after knowing the results).

As práticas de escolha de cerejas e HARking prejudicam o progresso científico. Supondo que um terceiro estudo tente reproduzir os resultados anteriores, é provável que não consiga porque os resultados dos estudos originais foram falsos positivos. Poder-se-ia então pensar  que  há mecanismos  de autocorreção: o terceiro estudo corrigiria o erro mostrando que a relação encontrada anteriormente não é significativa. Para muitas áreas, no entanto, o mecanismo de auto- correção é ineficiente pois não há incentivos para repetir estudos. Estudos “novos” são mais valorizados que repetições e, mesmo que seja repetido, terá dificuldades em ser publicado porque o meio acadêmico pode ser preconceituoso em relação a resultados que divergem daqueles que já estão publicados. Os poucos estudos que tentaram repetir resultados de estudos anteriores apresentaram resultados alarmantes. Briam Nosek coordenou um estudo com o objetivo de replicar 100 experimentos em Psicologia (Science, 2015, v. 349). Apenas 39 % dos resultados obtidos nos experimentos originais foram reproduzidos com sucesso.

A boa notícia é que esses problemas podem ser minimizados com o registro prévio de projetos de pesquisa, dentre outras ações.

O leitor interessado pode consultar https://osf.io/.

Categorias: Caminhos da Pesquisa edição 88 escolha de cerejas