REPRODUCIBILIDAD CIENTÍFICA EN LA ERA DIGITAL: PROPUESTA METODOLÓGICA PARA AUDITORÍA DE DATOS Y ANÁLISIS REPLICABLES
DOI:
https://doi.org/10.56519/1pmhqw10Palabras clave:
Reproducibilidad, auditoría de datos, software, ciencia abierta, Reproducibility, data auditing, open scienceResumen
La reproducibilidad científica es un elemento fundamental del método científico que propicia la verificación independiente de los resultados. Sin embargo, la creciente complejidad de los datos, el análisis y el software en la era digital han convertido la denominada "crisis de reproducibilidad", en una preocupante realidad. De hecho, los estudios demuestran que una alta cuota de los resultados científicos publicados, en particular en biomedicina y ciencia de datos, resulta difícil de reproducir, lo que erosiona la confianza pública. La falta de documentación explícita del software, la falta de disponibilidad de los datos primarios y la ambigüedad en la redacción del código de análisis son factores que, en la actualidad, son todos determinantes en el problema. En esta situación, la necesidad de un marco común y universal para la auditoría de trabajos de investigación se hace acuciante, surgiendo así la ciencia abierta como una opción posible. En este artículo se presenta un marco común y auditable para mejorar la reproducibilidad a partir de la unión de prácticas de reporte y principios para la auditoría de los datos y contenedores de software (Docker o Singularity, por ejemplo). El enfoque se apoya en una revisión sistemática de la literatura desde el año 2002 al 2021 para evidenciar un proceso que garantice la integridad de los datos y la trazabilidad del análisis. Para terminar, se concluye que un marco basado en datos limpios y entornos virtualizados mejora bastante la reproducibilidad, favoreciendo la confianza y la cooperación entre científicos.
Abstract
Scientific reproducibility is a fundamental element of the scientific method that promotes independent verification of results. However, the growing complexity of data, analysis, and software in the digital age has made the so-called “reproducibility crisis” a worrying reality. In fact, studies show that a high proportion of published scientific results, particularly in biomedicine and data science, are difficult to reproduce, which erodes public confidence. The lack of explicit software documentation, the unavailability of primary data, and ambiguity in the wording of the analysis code are all factors that currently contribute to the problem. In this situation, the need for a common and universal framework for auditing research work becomes pressing, with open science emerging as a possible option. This article presents a common and auditable framework for improving reproducibility by combining reporting practices and principles for auditing data and software containers (Docker or Singularity, for example). The approach is based on a systematic review of the literature from 2002 to 2021 to demonstrate a process that guarantees data integrity and analysis traceability. Finally, it is concluded that a framework based on clean data and virtualized environments greatly improves reproducibility, promoting trust and cooperation among scientists.
Descargas
Referencias
Plesser H. Reproducibility versus replicability: a brief history of a confused terminology. Front Neuroinform. 2017;11–76.
National Academies of Sciences. Engineering, and Medicine. Reproducibility and Replicability in Science Washington, DC. The National Academies Press. 2019;
Baker M. 1,500 scientists lift the lid on reproducibility. Nature. 2016;04(76):452–4.
Openshaw S, Openshaw C. The reproducibility crisis in science: a statistical perspective. PLoS Comput Biol. 2020;11(16):e1008321.
Begley C, Ellis L. Drug development: Raise standards for preclinical cancer research. Nature. 2012;7391(483):531–3.
Open Science Collaboration. Estimating the reproducibility of psychological science. Science (1979). 2015;6251(249):16–47.
Eklund A, Nichols T, Knutsson H. Cluster failure: Why fMRI inferences for spatial extent are invalid. Proc Natl Acad Sci USA. 2016;28(113):7900–5.
Goodman S, Fanelli D, Ioannidis J. What does reproducibility mean? Science (1979). 2016;6360(356):1021–2.
Boettiger C. An introduction to docker for reproducible research. PLoS One. 2015;1(10):e0100373.
Ioannidis J. Why science is not self-correcting. Perspect Psychol Sci. 2012;6(7):645–54.
Sandve G, Nekrutenko A, Taylor J. Ten simple rules for reproducible computational research. PLoS Comput Biol. 2013;10(9):100–3285.
Foster I, Stodden V, White J. A data commons for reproducible science. Nat Biotechnol. 2017;12(35):1111–2.
Stodden V, Merali Z. Empowering reproducible research. Science (1979). 2017;6309(354):253–4.
Freedman L, Cockburn I, Simcoe T. The economics of reproducibility. PLoS Biol. 2015;6(13):e1002165.
Resnik D. Reproducibility and research integrity. Account Res. 2018;2(25):119–31.
Barba L. The reproducible research movement. Comput Sci Eng. 2018;2(20):9–17.
Booth A, Sutton A, Papaioannou D. Systematic Approaches to a Successful Literature Review. 2nd ed. Los Angeles: SAGE Publications. 2016;
Shea B, Grimshaw J, Wells G. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007;7–10.
Page M, McKenzie J, Bossuyt P. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;(372):71.
Perkel J. How to publish code and data to boost reproducibility. Nature. 2020;586(7829):463–4.
Picard J, Boettiger C, O’Boyle C. Beyond open data and code: A framework for reproducible research environment specifications. J Open Res Softw. 2021;1(9):1.
Di Tommaso P, Moretti S, Halstead M. Containers and Reproducible Research. ACM Comput Surv. 2020;1(53):18:1-24.
Garijo D, Gil Y. Reproducibility in data science. Commun ACM. 2020;7(63):108–17.
O’Boyle C, Boettiger C, Merali Z. Containerizing your research: A best practice for reproducible data analysis. J Open Source Softw. 2020;5(50):21–49.
Gorgolewski K, Margulies D, Castellanos F. A reproducible research workflow for neuroimaging: The ReproNim project. Neuroimage. 2020;(211):116–584.
National Institute of Standards and Technology. SP 800-32: Introduction to Computer Security. Gaithersburg, MD: NIST. 2002;







