Científicos dependen cada vez más de herramientas de 'caja negra' que no pueden controlar ni comprender completamente

Tabla de contenido

Según un nuevo estudio, los científicos dependen cada vez más de potentes fuentes de datos y herramientas que, a menudo, no pueden comprender, inspeccionar ni verificar por completo.

Imagen de Artem Podrez en Pexels.com

Las herramientas y los datos de última generación, como la inteligencia artificial (IA), las imágenes satelitales, los datos en línea y los sensores digitales, están revolucionando la forma en que los científicos estudian el mundo natural.

Pero estos sistemas funcionan, en la práctica, como “cajas negras” científicas que pueden poner en entredicho cada vez más la confianza en la ciencia.

El nuevo estudio, realizado por un equipo internacional de científicos, aborda los problemas de reproducibilidad, confianza y el futuro de la investigación científica en una era en la que las tecnologías críticas pueden moldear la ciencia e influir en el conocimiento sin estar completamente abiertas al escrutinio.

Estas tecnologías pueden procesar enormes cantidades de información, monitorear la biodiversidad y las amenazas en todos los continentes, y revelar patrones que antes habrían sido inaccesibles.

“Sin embargo, muchas de estas herramientas representan auténticas cajas negras, ya que mantienen ocultos en gran medida los procesos que hay detrás de esos resultados”, dijo Ivan Jarić, investigador de la Universidad de París-Saclay y autor principal del estudio.

“A menudo -añadió-, son propiedad de empresas privadas que limitan intencionadamente el acceso a la información sobre cómo funcionan sus sistemas o cómo procesan los datos, guiándose por restricciones de propiedad y objetivos comerciales”.

Tipos de cajas negras
#

El artículo identifica varios tipos de cajas negras que se están utilizando cada vez más en ecología y conservación.

Uno de los ejemplos más destacados son los grandes modelos de lenguaje y otras tecnologías de IA, cada vez más utilizadas para analizar conjuntos de datos masivos, interpretar imágenes satelitales y modelar ecosistemas.

Sin embargo, los investigadores a menudo tienen poco o ningún acceso a los datos utilizados para entrenar estos sistemas, a los algoritmos subyacentes, a las pruebas directas del sistema o a la comprensión de cómo y por qué generan determinados resultados. A medida que la IA se vuelve más capaz y autónoma, esta falta de transparencia dificultará la interpretación y verificación de los hallazgos científicos.

Más allá de la IA
#

Este problema va más allá de la IA. Muchos productos de teledetección dependen de un procesamiento propietario al que los investigadores no pueden acceder ni verificar por completo, mientras que algunos dispositivos de seguimiento de fauna silvestre solo proporcionan ubicaciones procesadas de los animales, sin revelar los datos brutos subyacentes.

Las plataformas en línea, como los motores de búsqueda y las redes sociales, que se han convertido en valiosas fuentes para el estudio de la biodiversidad y las interacciones humanas con la naturaleza, se basan en algoritmos ocultos y políticas cambiantes que pueden introducir sesgos desconocidos en dichos datos.

Problemas similares también afectan a las encuestas sociales. Los científicos recurren cada vez más a empresas privadas para reclutar participantes y gestionar las encuestas, con información a menudo limitada sobre cómo se seleccionan los encuestados, cómo se mantiene la calidad de los datos o si las respuestas pueden haber sido afectadas por la interferencia de agentes de IA.

“Este problema no se debe simplemente a cuestiones comerciales y de propiedad intelectual”, afirmó la profesora Karen Anderson, de la Universidad de Exeter, otra de las autoras del estudio.

“Las herramientas científicas modernas se están volviendo tan complejas técnicamente que los usuarios, e incluso en algunos casos sus desarrolladores, pueden tener dificultades para analizar y comprender completamente cómo funcionan.”

Publicar o perecer
#

La creciente dependencia de las tecnologías opacas se ve reforzada por una cultura de “publicar o perecer”, una presión cada vez mayor sobre los científicos para aumentar la productividad y seguir siendo competitivos, pero también por la necesidad de hacer frente de forma más eficaz a los crecientes conjuntos de datos y a las urgentes crisis medioambientales.

Además del riesgo de monopolio, el menoscabo de los esfuerzos por lograr una ciencia abierta y la susceptibilidad a la manipulación, los investigadores advierten que esta tendencia podría socavar gravemente la reproducibilidad general de la ciencia. Si no se pueden inspeccionar o repetir los pasos analíticos clave, la confianza en los hallazgos científicos puede erosionarse gradualmente.

Algunas soluciones
#

Los autores recomiendan una serie de soluciones para hacer que las tecnologías de caja negra sean más transparentes y rindan más cuentas.

Esto incluye priorizar el software y el hardware de código abierto siempre que sea posible, comparar las herramientas propietarias con conjuntos de datos transparentes, comparar los resultados entre múltiples métodos, documentar cuidadosamente los datos de entrenamiento, los flujos de trabajo, las versiones, la configuración y, especialmente, las limitaciones de las herramientas, y, en última instancia, realizar esfuerzos sistemáticos para lograr una mayor concienciación y reconocimiento de este problema.

Supervisión
#

“La supervisión humana debe seguir siendo fundamental a lo largo de todo el proceso de investigación, especialmente porque son los autores del estudio quienes deben asumir la responsabilidad de cualquier error o incertidumbre que se produzca por el uso de herramientas de caja negra en su trabajo”, dijo, por su parte, Michael Bertram, de la Universidad Sueca de Ciencias Agrícolas y la Universidad de Estocolmo, otro de los autores del estudio. “También es necesario intensificar los esfuerzos en favor de la ciencia abierta, incluyendo regulaciones que mejoren el acceso de los investigadores a las plataformas digitales y a los datos subyacentes”, añadió.

Opacidad
#

Sin embargo, dado que algunos sistemas opacos pueden seguir siendo resistentes a estas soluciones y estar lejos de los estándares de la ciencia abierta, los científicos deben permanecer atentos a las ventajas y desventajas de su uso y a los riesgos de su adopción acrítica.

Cita
#

El artículo The black-box future of ecology and conservation (El futuro incierto de la ecología y la conservación), fue publicado en la revista BioScience. Autores: Iván Jarić, Pavel Pipek, Karen Anderson, Henrik Baktoft, Michael G Bertram, Susan Canavan, Lewis R Elliott, Milán Říha, Kevin J. Gaston.

Ivan Jarić, Pavel Pipek, Karen Anderson, Henrik Baktoft, Michael G Bertram, Susan Canavan, Lewis R Elliott, Milan Říha, Kevin J Gaston, El futuro de la ecología y la conservación como una caja negra, BioScience , 2026;, biag119, https://doi.org/10.1093/biosci/biag119

Contacto [Notaspampeanas](mailto: notaspampeanas@gmail.com)