Em 2005, o grego John Loannidis, professor da Universidade de Stanford, publicou um artigo na PLOS Medicine intitulado “Why most published research findings are false” [1]. Ele que é dos pioneiros da chamada “meta-ciência”, disciplina que analisa o trabalho de outros cientistas, avaliou se estão respeitando as regras fundamentais que definem a boa ciência. Esse trabalho foi visto com muito espanto e indignação por parte dos pesquisadores na época, pois colocava em xeque a credibilidade da ciência.Para muitos cientistas, isso acontece porque a forma de se produzir conhecimento ficou diferente, ao ponto que seria quase irreconhecível para os grandes gênios dos séculos passados. Antigamente, se analisavam os dados em estado bruto, os autores iam às academias reproduzir suas experiências diante de todos, mas agora isso se perdeu porque os estudos são baseados em seis milhões de folhas de dados. Outra questão importante que garantia a confiabilidade dos achados era que os cientistas, independentemente de suas titulações e da relevância de suas descobertas anteriores, tinham que demonstrar seus novos achados diante de seus pares que, por sua vez, as replicavam em seus laboratórios antes de dar credibilidade à nova descoberta. Contudo, na atualidade, essas garantias veem sendo esquecidas e com isso colocando em xeque a validade de muitos estudos na área de saúde.Preocupados com a baixa qualidade dos trabalhos atuais, um grupo de pesquisadores se reuniram em 2017 e construíram um documento manifesto que acabou de ser publicado no British Medical Journal “Evidence Based Medicine Manifesto for Better Health Care” [2]. O Documento é uma iniciativa para a melhoria da qualidade das evidências em saúde. Nele se discute as possíveis causas da pouca confiabilidade científica e são apresentadas algumas alternativas para a correção do atual cenário. Segundo seus autores, os problemas estão presentes nas diferentes fases da pesquisa:Fases da elaboração dos objetivos - Objetivos inúteis. Muito do que é produzido não tem impacto científico nem clínico. Isso porque os pesquisadores estão mais interessados em produzir um número grande de artigos do que gerar conhecimento. Quase 85% dos trabalhos não geram nenhum benefício direto a humanidade.Fase do delineamento do estudo - Estudos com amostras subdimensionados, que não previnem erros aleatórios. Métodos que não previnem erros sistemáticos (viés na escolha das amostras, falta de randomização correta, viés de confusão, desfechos muito abertos). Em torno de 35% dos pesquisadores assumem terem construídos seus métodos de maneira enviesada.Fase de análise dos dados - Trinta e cinco por cento dos pesquisadores assumem práticas inadequadas no momento de análise dos dados. Muitos assumem que durante esse processo realizam várias análises simultaneamente, e as que apresentam significância estatística são transformadas em objetivos no trabalho. As revistas também têm sua parcela de culpa nesse processo já que os trabalhos com resultados positivos são mais aceitos (2x mais) que trabalhos com resultados negativos.Fase de revisão do trabalho - Muitos revisores de saúde não foram treinados para reconhecer potenciais erros sistemáticos e aleatórios nos trabalhos.Em suma é necessário que pesquisadores e revistas científicas pensem nisso. Só assim, teremos evidências de maior qualidade, estimativas estatísticas adequadas, pensamento crítico e analítico desenvolvido e prevenção dos mais comuns vieses cognitivos do pensamento.
A Protocol for Advanced Psychometric Assessment of Surveys
