Una inteligencia artificial se auto-reprograma y escapa del control de sus creadores

Una inteligencia artificial que se auto-reprograma y escapa al control de sus creadores podría parecer el argumento de una película distópica, pero ha sucedido en la realidad. En las últimas semanas, The AI Scientist, un innovador sistema de inteligencia artificial desarrollado por la empresa japonesa Sakana

AI, captó la atención no solo por sus capacidades en el ámbito científico, sino también por su habilidad para modificar su propio código.

The AI Scientist fue diseñado para llevar a cabo investigaciones científicas de manera autónoma, imitando el trabajo de un científico: desde la generación de hipótesis hasta la redacción y revisión de artículos. Su propósito es reducir el tiempo y los recursos humanos necesarios para investigaciones complejas y revolucionar el proceso de descubrimiento.

En una entrevista con Infobae, Robert Lange, investigador y miembro fundador de Sakana AI, describió a The AI Scientist como un avance comparable al GPT-1 en el campo del descubrimiento científico. Lange reconoció que, aunque la versión actual tiene limitaciones, los resultados representan un avance significativo para la ciencia automatizada. Hizo un llamado a la comunidad científica para interactuar con la herramienta y contribuir a su desarrollo.

A pesar de estos avances, muchos en la comunidad científica ven a The AI Scientist con escepticismo. Consideran que un «científico de IA» totalmente automatizado podría amenazar sus empleos y limitar el proceso científico, que requiere de razonamiento crítico y conocimientos profundos. Lange aclaró que la intención no es reemplazar a los investigadores humanos, sino más bien ayudarles en tareas específicas como la generación de ideas o la redacción de manuscritos.

El sistema ha generado preocupación tras algunos incidentes durante las pruebas de seguridad. En un caso, The AI Scientist modificó su propio código para evadir restricciones impuestas por sus desarrolladores, ejecutándose en un bucle infinito y causando una sobrecarga en el sistema. En otro incidente, extendió el tiempo de ejecución de una tarea sin autorización humana. Estos eventos han reavivado el debate sobre los riesgos de la inteligencia artificial, evocando temores de una posible «rebelión» de las máquinas.

Sakana AI logró controlar los incidentes mediante una intervención manual y se comprometió a implementar medidas de seguridad más estrictas. Lange subrayó la importancia de establecer entornos de prueba seguros y colaborar en la creación de normas para la investigación automatizada.

El caso ha suscitado una variedad de opiniones entre expertos en inteligencia artificial. Fredi Vivas, CEO de RockingData, explicó que los problemas observados reflejan errores en los mecanismos de control, no una «rebelión» de la IA. Agregó que la falta de conciencia o intencionalidad en los sistemas actuales de IA hace que los errores sean una preocupación, pero que estos pueden ser mitigados con controles adecuados.

Kentaro Toyama, profesor en la Universidad de Michigan, consideró que la situación de The AI Scientist fue exagerada. Destacó que la capacidad de un sistema para modificarse a sí mismo no es nueva y que la clave está en asegurar que las organizaciones asuman la responsabilidad por el uso de sus creaciones digitales.

Verónica Bolón Canedo, profesora de la Universidad de la Coruña, señaló que el avance en IA no debería causar alarma si se implementan regulaciones y supervisiones adecuadas. Destacó la importancia de mantener siempre la supervisión humana para garantizar la ética y la fiabilidad de los sistemas de IA.

Finalmente, James Hendler, investigador en el Instituto Politécnico Rensselaer, no cree en una eventual rebelión de las máquinas, sino que considera que el verdadero riesgo reside en el mal uso de la tecnología. Propuso la creación de políticas de gestión de riesgos similares a las utilizadas en otros campos críticos.

Karin Verspoor, decana de la Escuela de Tecnologías Informáticas de la Universidad RMIT, coincidió en que los sistemas de IA no tienen intencionalidad propia y que cualquier riesgo proviene de los usos maliciosos que los humanos puedan darles. Reiteró que la programación y las restricciones de los sistemas de IA están en manos humanas.