Ciencia reproducible o replicable: precisiones para abordarla desde las ciencias sociales y humanidades  

 En ciencias sociales y humanidades la poca claridad de los términos reproducible y replicable limita las discusiones sobre la documentación que da cuenta de cómo y para qué se realiza la ciencia abierta. En esta entrada comento brevemente este problema que ya tiene historia, y reparo en algunas iniciativas que buscan precisar la terminología y hacer un llamado a las comunidades de investigadores para que publiquen sus datos.   

Un problema de vieja data¹  

En los años noventa Sarah G. Thomason, entonces editora de la revista Language escribió en la nota editorial una reflexión y algunas recomendaciones para enfrentar los problemas asociados a la presentación y verificación de los datos lingüísticos incluidos en artículos académicos. Entre los errores frecuentes expuestos por Thomason están: la citación de fuentes secundarias sin corroboración de datos, los datos acomodados a los argumentos de los autores, los datos mal interpretados, o copia de errores¹. Bajo esta aclaración, la autora ofrece cuatro recomendaciones para lograr la solidez en cualquier informe, reporte o artículo de investigación lingüística: 1) siempre consultar las fuentes primarias; 2) usar las fuentes con cuidado; 3) considerar todos los datos relevantes; y 4) proveer información detallada acerca de las fuentes de los datos y la metodología de recolección de los mismos (Thomason G., 1994, p. 413).  

Las recomendaciones de Thomason G. tienen vigencia para muchas más áreas de las ciencias sociales y humanidades además de la Lingüística, y nos llevan a reconocer la urgencia en la definición de acciones colectivas para el tratamiento y publicación de los datos. Tener acceso a las fuentes primarias permite hacer la verificación de las fuentes y cotejar resultados y conclusiones.  En la actualidad, las agencias de financiamiento así como de las revistas académicas demandan este acceso a los datos en tanto sea ética y legalmente posible. A través de textos como la Declaración de Disponibilidad de Datos por sus siglas en inglés DAS, las revistas invitan a los investigadores a dar acceso a los datos lo cual no significa que den permiso para su reúso. Por ejemplo, las instrucciones para autores que desean publicar en la Revista Open Lingüistics recomiendan en la sección Política de puesta en común de datos que: 

Los datos de la investigación deben ponerse ampliamente a disposición de la comunidad investigadora con el fin de demostrar la solidez y validez de la investigación presentada en la revista, para fomentar la replicación de los resultados y ofrecer a la comunidad oportunidades de aprendizaje. Al publicar en la revista se anima a los autores a incluir en sus artículos una declaración de disponibilidad de datos (DAS) en sus artículos. Se anima a los autores a compartir sus datos, pero no se les exige que lo hagan. La decisión de publicar no se verá afectada por el hecho de que los autores compartan o no los datos de su investigación. Consulte los detalles en nuestra Política de intercambio de datos. (Instructions for autors: Open Linguistics, 2020, p.2).

En el ejemplo señalado se recomienda poner a disposición los datos para permitir la replicación de resultados (traducción del inglés replication). Es preciso señalar que aquí radica una de las imprecisiones terminológicas que debe aclararse en cualquier políticas de acceso y uso de los datos: reproducibilidad es diferente a replicabilidad.  

La definición de ciencia reproducible o replicable

A continuación, se anotan las definiciones de reproducibilidad y replicabilidad de la ciencia, según el informe del Comité de la Academia Nacional de Ciencias, Ingeniería y Medicina de los Estados Unidos: la reproducibilidad es la acción que permite “obtener resultados consistentes usando los mismos datos; pasos computacionales, métodos, códigos y condiciones de análisis. Esta definición es sinónimo de “reproducibilidad computacional” por su parte […] La replicabilidad, “es la obtención consistente de resultados entre estudios cuyo objetivo es contestar las mismas preguntas de investigación si bien cada investigación obtiene sus propios datos” (Committee on Reproducibility and Replicability in Science et al., 2019, p. 46). 

Estas definiciones no son parte de un consenso y son utilizadas de manera diferente por las asociaciones científicas. Lorena Barba, en su artículo Terminologies for Reproducible Research (2018), traza el uso de los términos reproducible y replicable en diferentes áreas del conocimiento e identifica dos casos de uso: el primero en el que reproducibilidad y replicabilidad son usados sin distinción entre ellos, como ocurre en áreas como la Ciencia Política y la Economía;  en el segundo, cada uno de los términos se define separadamente aunque se identifica para cada término dos acepciones que no coinciden (Barba, 2018, p. 6). Para las disciplinas del Procesamiento de señales, Computación científica, Econometría, Epidemiología, Estudios clínicos, Fisiología, Biología computacional, Investigación Biomédica y Estadística, la reproducibilidad se refiere a las instancias en las cuales los datos originales de la investigación y los códigos computacionales son usados para rehacer los resultados. Mientras que la replicabilidad se refiere a las instancias en las cuales un investigador colecta nuevos datos para llegar a los mismos hallazgos científicos de un estudio previo. Por otra parte, disciplinas como la Microbiología e inmunologías (FASEB) y las Ciencias de la computación (ACM), definen reproducibilidad a la manera como investigadores independientes llegan a los mismos resultados utilizando sus propios datos y métodos, mientras que replicabilidad se refiere al como diferentes equipos llegan al mismo resultado usando los mismos artefactos que utilizó el autor original (p.12). 

En el caso de las ciencias sociales y humanidades es preciso dejar de entenderlas como sinónimo y definirlas de manera diferenciada. Ante este panorama, una de las acciones a tomar en cuenta es la convocatoria que realizó la Fundación Nacional para la ciencia de Estados Unidos en la cual reunió cerca de cuarenta lingüistas en su mayoría de universidades de Estados Unidos, para pensar los datos. De este encuentro resultó el “Reproducible Research  in linguistics: A Position Statement on Data Citation and Attribution un our Field” (Berez-Kroeker et al., 2018).  En este documento se especifica la diferencia entre la investigación reproducible y la investigación replicable al señalar que  

la segunda [replicable] produce nuevos datos, que luego pueden analizarse ostensiblemente para confirmar o desconfirmar resultados anteriores; la primera [reproducible] proporciona acceso a los datos originales para su análisis independiente (Berez-Kroeker et al., 2018, p.4).  

Así, el cotejo y evaluación de las conclusiones de una investigación, a partir de la revisión de los datos, va más allá del ejercicio en el marco de lo editorial como lo postuló Thomason G. en los años noventa. Es en principio un eslabón de la ética investigativa y a la vez un derecho de todos aquellos que necesiten corroborar las fuentes. 

Asegurar el acceso sin restringirlo 

Es usual que los autores al compartir sus datos de investigación teman por la protección e integridad de los mismos so pena que sean mal interpretados, des contextualizados o apropiados indebidamente, entre otras cosas (Gawne & Styles, 2022). Ante ello y para pensar en una ciencia reproducible y en ciertos casos replicable es necesario comprender y justificar todos los aspectos éticos y marcos legales que permitan establecer las autorizaciones, la propiedad intelectual y las licencias a los datos producidos. Desde las bibliotecas académicas es posible iniciar estas conversaciones que nos permitan orientar las maneras como se aseguran los datos sin que necesariamente se cierre su acceso y de este modo dar cuenta a la necesidad de hacer las ciencias sociales y humanas reproducibles o replicables según los casos. Ese será otro tema para este blog. Por ahora, iniciemos la conversación ¿Podrían nuestras investigaciones ser reproducibles o replicables? ¿Tenemos claros los aspectos éticos y legales asociados al tratamiento y publicación de los datos?  ¿Sabemos cómo documentar la producción de datos?  

Notas

1. La expresión vieja data se conforma de la palabra data que en español se refiere al tiempo en que ocurre o se hace algo. Así, vieja data es algo que ocurre desde hace mucho tiempo.  

Referencias 

Barba, L. A. (2018). Terminologies for Reproducible Research (arXiv:1802.03311). arXiv. http://arxiv.org/abs/1802.03311 

Berez-Kroeker, A. L., Gawne, L., Kung, S. S., Kelly, B. F., Heston, T., Holton, G., Pulsifer, P., Beaver, D. I., Chelliah, S., Dubinsky, S., Meier, R. P., Thieberger, N., Rice, K., & Woodbury, A. C. (2018). Reproducible research in linguistics: A position statement on data citation and attribution in our field. Linguistics, 56(1), 1-18. https://doi.org/10.1515/ling-2017-0032 

Committee on Reproducibility and Replicability in Science, Board on Behavioral, Cognitive, and Sensory Sciences, Committee on National Statistics, Division of Behavioral and Social Sciences and Education, Nuclear and Radiation Studies Board, Division on Earth and Life Studies, Board on Mathematical Sciences and Analytics, Committee on Applied and Theoretical Statistics, Division on Engineering and Physical Sciences, Board on Research Data and Information, Committee on Science, Engineering, Medicine, and Public Policy, Policy and Global Affairs, & National Academies of Sciences, Engineering, and Medicine. (2019). Reproducibility and Replicability in Science (p. 25303). National Academies Press. https://doi.org/10.17226/25303 

De Gruyter Open Access (Ed.). (2020). Instructions for autors: Open Linguistics. https://www.degruyter.com/journal/key/opli/html#submit 

---

---