Luis Mauricio Bini, professor do Instituto de Ciências Biológicas da UFG

O viés de confirmação é um fenômeno generalizado que afeta, com intensidade variável,  qualquer ser humano (inclusive, é claro, cientistas). Esse viés ocorre quando escolhemos ou supervalorizamos evidências que apoiam nossas opiniões, expectativas e hipóteses. Simultaneamente, depreciamos ou ignoramos evidências que apontam para direções diferentes.

A grande dominância de artigos científicos com resultados positivos, quando comparada com a frequência de artigos que apresentam resultados “não significativos” ou na direção contrária àquela esperada, é uma forte evidência sobre a ocorrência do viés de confirmação. Esse viés ocorre porque temos a percepção (equivocada) de que apenas resultados positivos são úteis ou interessantes. Assim, cientistas, diante de resultados negativos, podem perder o interesse de publicar esses resultados. Na literatura especializada, esse comportamento é conhecido como efeito do arquivo na gaveta. Antes da popularização dos computadores, os dados eram anotados em papel e, quando não significativos, eram simplesmente jogados numa gaveta qualquer.

No entanto, outra atitude diante de resultados não significativos pode ser ainda mais perniciosa, o que consiste na tortura dos dados até que eles confessem. Essa prática pode ocorrer de diferentes formas. Quiçá a mais comum é aquela na qual diferentes métodos estatísticos são utilizados, ignorando, inconsciente ou conscientemente, seus pressupostos até que um método (independentemente se correto ou não) demonstre que existe uma relação “estatisticamente significativa” entre as variáveis A e B. A remoção secreta de valores discrepantes (i.e., valores da variável de interesse que diferem muito da média), mas que não decorrem de problemas metodológicos (por exemplo, o reagente utilizado numa determinada análise estava vencido), também é uma forma execrável de tortura de dados. Assim, nessa prática, alguns dados são removidos do conjunto até que, por exemplo, a relação entre as variáveis de interesse fique tal qual um “exemplo de livro”.

A escolha de cerejas ocorre quando diferentes variáveis respostas (ou dependentes) são mensuradas e somente aquela variável que responde significativamente ao tratamento é escolhida para publicação. Essa má conduta está relacionada com o que é conhecido na literatura como post-hoc storytelling (basicamente transvestir uma análise exploratória numa confirmatória) e pode ser explicada considerando o conto do atirador texano: suponha que um atirador, com olhos vendados e sem nenhuma testemunha, atira a esmo numa parede; posteriormente, esse atirador desenha um alvo no local da parede com maior concentração de perfurações – qualquer juiz de competição de tiro avaliará que o nosso texano “tem” uma pontaria invejável. Finalmente, a reformulação da hipótese inicial do trabalho científico, depois que os resultados são conhecidos, também tem sido apontada com uma forma de má conduta científica.

Todos reconhecem a dificuldade de divulgar resultados negativos (qual foi o último artigo que você leu com o título “O não efeito disso sobre aquilo”?). No entanto, o avanço científico também depende de saber sobre o que não funciona. O engajamento de autores, editores e revisores é essencial para a mudança de percepção de que apenas resultados estatisticamente significativos são válidos, interessantes e importantes.