Renunció un investigador de Claude y advirtió sobre el riesgo de una IA fuera de control: “Podría matarnos a todos”
Mientras las empresas compiten por desarrollar modelos cada vez más potentes, las advertencias provenientes de sus propios investigadores reflejan que la seguridad y el control de estas tecnologías continúan siendo problemas sin una respuesta definitiva.
La salida de otro especialista vinculado a la seguridad de la inteligencia artificial volvió a poner en el centro del debate uno de los mayores interrogantes que enfrenta la industria tecnológica: qué ocurriría si los sistemas de IA alcanzaran capacidades superiores a las humanas y comenzaran a mejorar por sí mismos.
Jacob Coxon, quien durante los últimos tres años trabajó en investigaciones relacionadas con el preentrenamiento en OpenAI y Anthropic, hizo pública su preocupación tras abandonar su actividad en el sector.
A través de una serie de publicaciones en X, cuestionó duramente las estrategias que están siguiendo las principales compañías dedicadas al desarrollo de inteligencia artificial.
Según Coxon, tanto OpenAI como Anthropic están avanzando hacia sistemas de inteligencia artificial cada vez más autónomos sin contar, a su juicio, con mecanismos suficientes para garantizar que puedan mantenerse bajo control humano.
“Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas”, sostuvo.
El investigador también planteó que los futuros modelos podrían alcanzar capacidades radicalmente superiores a las actuales, con posibilidades de intervenir en sistemas informáticos, acelerar descubrimientos científicos y tecnológicos y obtener recursos con una autonomía inédita.
En ese escenario, advirtió, el riesgo no debería ser considerado una cuestión propia de la ciencia ficción.
Coxon afirmó además que quienes trabajan en el desarrollo de estos sistemas contemplan seriamente la posibilidad de que una inteligencia artificial avanzada pueda provocar una catástrofe global antes de que termine la década.
En su análisis, el problema se agrava por la competencia entre las grandes empresas, que estarían inmersas en una carrera tecnológica por alcanzar primero la denominada superinteligencia.
El especialista incluso planteó que evitar esa competencia podría requerir medidas extraordinarias, entre ellas una pausa temporal en el incremento de las capacidades de los modelos.
Su advertencia apunta directamente al dilema que enfrenta la industria: continuar acelerando la innovación mientras todavía no existe una solución definitiva al denominado problema de alineamiento, es decir, cómo garantizar que una IA avanzada actúe de acuerdo con los objetivos y límites establecidos por los seres humanos.
La preocupación de Coxon encontró respaldo en Evan Hubinger, exresponsable de investigación de alineamiento de Anthropic.
El investigador coincidió públicamente con el diagnóstico y sostuvo que dentro del sector existe una preocupación real sobre la posibilidad de que una IA avanzada represente un riesgo existencial para la humanidad. Hubinger incluso estimó que existe una probabilidad superior al 10% de que un escenario de ese tipo ocurra durante la próxima década, aunque aclaró que considera que Anthropic está realizando esfuerzos para enfrentar el problema.
La propia Anthropic ha reconocido que el desarrollo de sistemas capaces de diseñar o construir versiones sucesoras de sí mismos podría representar un salto tecnológico de enormes dimensiones, con potenciales beneficios en campos como la ciencia y la salud.
Sin embargo, la compañía también admite que una mejora recursiva de estas características podría dificultar considerablemente la supervisión humana.
