Em 2004, dois pesquisadores espanhóis publicaram um artigo que, à primeira vista, parecia bastante simples. Eles não realizaram um ensaio clínico, não descobriram um novo medicamento e tampouco propuseram uma nova teoria científica.
A pergunta que fizeram foi muito mais direta:
Os valores de p publicados nos artigos científicos realmente correspondem aos testes estatísticos apresentados?
A resposta surpreendeu toda a comunidade científica.
Ao reanalisar artigos publicados na Nature, considerada uma das revistas científicas mais restigiadas do mundo, os autores encontraram inconsistências estatísticas em uma proporção muito maior do que qualquer pesquisador imaginava.
O estudo tornou-se um marco na discussão sobre qualidade metodológica e, anos depois, seria reconhecido como um dos trabalhos que impulsionaram mudanças importantes nas diretrizes estatísticas dos periódicos do grupo Nature.
Uma pergunta extremamente simples
O estudo de Emili García-Berthou e Carles Alcaraz partiu de um princípio básico da estatística.
Imagine que um artigo apresente o seguinte resultado:
t = 2,87; gl = 18; p = 0,010
Qualquer software estatístico consegue recalcular esse valor de p.
Portanto, existe apenas uma possibilidade:
- ou o valor de p está correto;
- ou existe algum erro na publicação.
Os autores decidiram fazer exatamente isso.
Eles não reanalisaram os dados originais.
Eles simplesmente recalcularam os valores de p utilizando as estatísticas apresentadas pelos próprios autores.
Era uma auditoria matemática.
Nada mais.
Nada menos.
O desenho do estudo
Os pesquisadores analisaram todos os artigos publicados em quatro volumes da Nature durante 2001.
Além disso, utilizaram uma amostra aleatória de artigos publicados no BMJ (British Medical Journal) no mesmo período.
Ao todo foram verificados:
- 181 resultados estatísticos publicados na Nature;
- 63 resultados publicados no BMJ.
Cada teste estatístico foi recalculado independentemente.
O objetivo era verificar se havia congruência entre:
- estatística do teste;
- graus de liberdade;
- valor de p informado.
O resultado surpreendeu a comunidade científica
Os números foram muito maiores do que se imaginava.
Na Nature: 11,6% dos resultados estatísticos apresentavam incompatibilidade entre o teste e o valor de p.
No BMJ: 11,1% apresentavam o mesmo problema.
Mas o dado que mais chamou atenção foi outro.
Quando os autores analisaram artigo por artigo descobriram que:
38% dos artigos publicados na Nature continham pelo menos um erro estatístico desse tipo.
No BMJ essa proporção foi de aproximadamente 25%.
Isso significa que 38% dos artigos estavam errados?
Não.
E esse é justamente o ponto mais importante.
Um dos maiores equívocos ao citar esse trabalho é afirmar que:
“38% dos artigos publicados na Nature estavam errados.”
Isso não é verdade.
Os autores nunca disseram isso.
O que eles encontraram foram inconsistências entre os valores estatísticos reportados e os respectivos valores de p.
Essas inconsistências poderiam decorrer de:
- erro de digitação;
- arredondamento inadequado;
- erro de transcrição;
- erro de editoração;
- erro de cálculo.
Na maioria dos casos, o erro não alterava completamente a conclusão do estudo.
Entretanto, em aproximadamente 12% das inconsistências encontradas, o erro modificava a própria interpretação da significância estatística.
Ou seja, um resultado que parecia significativo poderia deixar de ser significativo — ou vice-versa.
Um exemplo simples
Imagine que um artigo publique:
F (2,14) =10,89; p=0,014
Ao recalcular o teste, verifica-se que o valor correto seria:
p = 0,0014
A diferença parece pequena.
Mas ela representa uma ordem de magnitude inteira.
Em outro caso, um teste foi publicado com um valor de p correspondente a graus de liberdade diferentes daqueles informados no próprio artigo.
Esses exemplos mostraram que muitos erros eram simples, mas suficientemente importantes para comprometer a interpretação estatística.
O que realmente assustou os pesquisadores?
Talvez o aspecto mais preocupante do estudo não tenha sido a existência dos erros.
Erros acontecem.
O verdadeiro problema foi perceber que:
- revisores não detectaram;
- editores não detectaram;
- leitores não detectaram.
Os artigos passaram pela revisão por pares.
Foram aceitos.
Publicados.
Citados.
E os erros permaneceram ali durante anos.
Isso demonstrou uma limitação importante do próprio processo editorial.
A resposta da Nature
A repercussão foi imediata.
Poucos meses depois, a própria Nature publicou uma reportagem discutindo o problema e reconhecendo a necessidade de maior rigor estatístico.
Em seguida, a Nature Medicine publicou um editorial histórico intitulado “Statistically Significant”.
Nesse editorial, os editores reconheceram que as críticas eram legítimas e anunciaram mudanças importantes nas diretrizes editoriais.
Entre elas destacavam-se:
- obrigatoriedade de uma seção específica descrevendo a análise estatística;
- descrição mais detalhada dos testes utilizados;
- melhor apresentação das estatísticas descritivas;
- maior atenção a erros estatísticos básicos durante o processo editorial.
Posteriormente essas recomendações foram incorporadas às revistas do grupo Nature.
O detalhe mais curioso
A história ainda ganhou outro capítulo.
Em 2006, outro grupo de pesquisadores publicou uma carta mostrando que um dos testes estatísticos utilizados por García-Berthou e Alcaraz também apresentava uma limitação metodológica.
Especificamente, eles argumentaram que o teste escolhido para avaliar a distribuição uniforme dos dígitos finais das estatísticas havia sido aplicado fora de seu regime ideal de validade.
É uma ironia científica extraordinária.
O artigo que denunciava erros estatísticos acabou tendo uma parte de sua própria análise estatística questionada.
Mas isso não invalidou a principal conclusão do estudo.
As inconsistências entre estatísticas e valores de p permaneceram documentadas.
A maior lição metodológica
Esse episódio ensina algo muito mais profundo do que simplesmente “verificar contas”.
Ele demonstra que a revisão por pares não é um sistema infalível.
Mesmo periódicos de altíssimo impacto podem publicar artigos contendo erros estatísticos.
Mais importante ainda, mostra que a ciência não se fortalece escondendo suas falhas.
Ela evolui justamente porque pesquisadores são capazes de auditar criticamente trabalhos anteriores — inclusive aqueles publicados nas revistas mais prestigiadas do mundo.
Hoje, diversas ferramentas automatizadas, como o statcheck, conseguem recalcular milhares de testes estatísticos em poucos minutos, identificando possíveis inconsistências antes que elas permaneçam por décadas na literatura. Ao mesmo tempo, essas ferramentas também possuem limitações e podem gerar falsos positivos quando os autores aplicam correções estatísticas apropriadas, reforçando que a auditoria automatizada nunca substitui a revisão crítica do pesquisador.
O legado do estudo
Mais de vinte anos depois, o trabalho de García-Berthou e Alcaraz continua sendo citado como um dos marcos da discussão sobre qualidade estatística na pesquisa biomédica.
Sua principal contribuição não foi demonstrar que a ciência produz muitos erros.
Foi lembrar à comunidade científica que um resultado estatístico não deve ser aceito apenas porque foi publicado.
Toda inferência científica precisa ser transparente, reprodutível e verificável.
Essa talvez seja a essência da ciência moderna: não confiar na autoridade do artigo, mas na possibilidade de qualquer pesquisador reproduzir seus cálculos e chegar às mesmas conclusões.
Se você quer ler um livro baseado em evidências e atualizado clique nesse link para fazer sua compra: LINK DE COMPRA.
Att. Dr. Andre Lopes
PhD em Ciências do Movimento Humano – UFRGS
@dr.andrelopes no Instagram
Referências
García-Berthou E, Alcaraz C. Incongruence between test statistics and P values in medical papers. BMC Medical Research Methodology. 2004;4:13. DOI: 10.1186/1471-2288-4-13.
Pearson H. Double check casts doubt on statistics in published papers. Nature. 2004;429:490.
Statistically Significant. Nature Medicine. 2005;11:1. Editorial que descreve as mudanças implementadas nas diretrizes estatísticas dos periódicos Nature após a auditoria.
Hwang SS, et al. Error in statistical tests of error in statistical tests. BMC Medical Research Methodology. 2006. Comentário metodológico que discute limitações de um dos testes utilizados por García-Berthou e Alcaraz, sem invalidar sua principal conclusão.
