Relatório propõe ações para reduzir quantidade de trabalhos científicos que não são confirmados em estudos posteriores.
Um relatório divulgado no mês passado pelas Academias Nacionais de Ciências, Engenharia e Medicina dos Estados Unidos forneceu bases objetivas para ampliar a credibilidade do trabalho dos cientistas, com foco na redução da quantidade de pesquisas cujos resultados acabam não sendo confirmados em estudos posteriores. Intitulado “Reprodutibilidade e replicabilidade na ciência”, o documento de 196 páginas foi encomendado pela National Science Foundation, principal agência de fomento à ciência básica norte-americana, e é fruto de um ano e meio de discussões promovidas por um comitê multidisciplinar composto por 13 pesquisadores.
De acordo com o médico Harvey Fineberg, ex-diretor da Escola de Saúde Pública da Universidade Harvard e presidente do comitê que elaborou o relatório, a confirmação de resultados científicos em estudos subsequentes é um mecanismo de autocorreção da ciência consagrado e de importância essencial. “Mas fatores como falta de transparência na notificação de dados, ausência de treinamento adequado e erros metodológicos podem impedir que pesquisadores reproduzam ou repliquem um estudo”, disse o médico. “Órgãos de financiamento à pesquisa, revistas, instituições acadêmicas, formuladores de políticas e os próprios cientistas têm um papel a desempenhar na melhoria da reprodutibilidade e replicabilidade, garantindo que os pesquisadores sigam práticas de padrão elevado, compreendam e expressem a incerteza inerente às suas conclusões e continuem a fortalecer a rede interconectada de conhecimento científico, que é o principal impulsionador do progresso no mundo moderno”, afirmou Fineberg, no lançamento do documento.
Para produzir um conjunto de recomendações dirigido a pesquisadores, instituições e agências de fomento, os membros do comitê consideraram necessário, em primeiro lugar, definir de forma precisa o significado dos termos “reprodutibilidade” e “replicabilidade”, que nem sempre são bem compreendidos. O conceito de reprodutibilidade, segundo o relatório, vincula-se à capacidade de alcançar os mesmos resultados de um estudo partindo de premissas idênticas, ou seja, as bases de dados do trabalho original. Desse modo, o problema tem uma dimensão estritamente computacional, em que o essencial é ter acesso ao conjunto de informações e saber como foram armazenadas e analisadas.
A recomendação principal do relatório consiste em disponibilizar de forma transparente não apenas os dados que embasaram o trabalho inicial como também os métodos, códigos, modelos, algoritmos e softwares utilizados para chegar ao resultado – pode ser útil saber até mesmo qual foi o sistema operacional e a arquitetura de hardware que ampararam a realização do estudo. O documento faz sugestões adicionais, como garantir treinamento adequado para pesquisadores sobre práticas de pesquisa computacionais, prover meios a fim de que grandes conjuntos de dados sejam preservados e disponibilizados para estudos subsequentes e investir em projetos de pesquisa para ampliar os limites da ciência da computação de modo a melhorar a capacidade de verificar a robustez de trabalhos científicos. Também propõe que revistas científicas reforcem políticas e ações que facilitem a confirmação dos experimentos descritos em seus artigos. “Os periódicos poderiam criar o posto de editor de reprodutibilidade para supervisionar esse trabalho”, disse a engenheira espacial Lorena Barba, da Universidade George Washington, em Washington, que participou do comitê multidisciplinar.
Já o conceito de replicabilidade tem mais nuanças. Pressupõe a possibilidade de alcançar respostas convergentes para determinada pergunta científica, mas partindo de bases de dados independentes. Um estudo pode não ser replicável por razões variadas. Quando a causa é fraude ou viés, os casos em geral se relacionam com má conduta. Mas o problema também pode acontecer em decorrência de incertezas inerentes às pesquisas e, nessas situações, não se pode dizer, necessariamente, que o estudo original estivesse errado. “Devido a variabilidades na natureza ou limitações de dispositivos de medição, os resultados são avaliados de forma probabilística e o processo de descoberta científica é incapaz de entregar uma verdade absoluta”, diz o relatório, que aponta uma das funções principais dos estudos de replicabilidade: “Afirmações científicas ganham uma probabilidade maior ou menor de serem verdadeiras dependendo dos resultados de pesquisas que as confirmem”.
Constatação valiosa
De acordo com o documento, a constatação de que um experimento não é replicável pode inclusive ser valiosa para a ciência, ao detectar efeitos desconhecidos ou fontes de variabilidade não avaliadas. Se não é possível evitar que isso aconteça, tentar reduzir a quantidade de ocorrências é importante para evitar desperdício de tempo e de recursos. Por isso, o relatório sugere aos pesquisadores que divulguem seus achados de modo mais cuidadoso e criterioso. “Eles devem ter o cuidado de estimar e explicar a incerteza associada aos seus resultados, de fazer uso adequado de métodos estatísticos e de descrever seus procedimentos e dados de maneira clara e completa”, afirma o documento, que também recomenda evitar exageros na divulgação dos resultados para não gerar falsas expectativas.
Os responsáveis pelo relatório criticam a ênfase exagerada conferida ao chamado valor de p, uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados. Um valor de p menor ou igual a 0,05 é utilizado frequentemente como um indicador de significância estatística, pois sugere que os resultados são robustos. É preciso avaliar, segundo o comitê, todo um conjunto de parâmetros, como as distribuições das observações e medidas como proporções e desvios-padrão, a fim de avaliar o vigor dos dados e as incertezas contidas neles.
Para ampliar a confiança em resultados de pesquisa, o relatório sugere que sejam avaliadas evidências acumuladas em diversos trabalhos científicos – o que permite saber até que ponto resultados encontrados podem ser generalizados – em vez de contentar-se com a verificação de estudos isolados. Da mesma forma, recomenda a autoridades e formuladores de políticas públicas que evitem a armadilha de desacreditar ou descartar uma conclusão corroborada por diversos trabalhos apenas porque surgiu uma evidência isolada refutando o resultado conhecido. Harvey Fineberg considera exagerada a ideia corrente de que a ciência vive uma crise de credibilidade resultante de uma escalada no número de pesquisas irreproduzíveis ou irreplicáveis. “Não existe uma crise. Mas também não há mais tempo para ser complacente com o problema”, disse.
Nenhum comentário:
Postar um comentário