Las mayores empresas de inteligencia artificial del mundo no están cumpliendo sus propios compromisos de seguridad, según una nueva evaluación que advierte de que estos incumplimientos entrañan riesgos catastróficos.
El informe se publica en un contexto en el que las compañías de IA enfrentan demandas y acusaciones por el daño psicológico atribuido a sus chatbots, incluido actuar como “guías para el suicidio”, además de crecientes reportes de ciberataques facilitados por estas tecnologías.
El informe ‘AI Safety Index Winter 2025’, publicado por la organización sin ánimo de lucro Future of Life Institute (FLI), evaluó a ocho grandes empresas de IA, entre ellas las estadounidenses Anthropic, OpenAI, Google DeepMind, xAI y Meta, y las chinas DeepSeek, Alibaba Cloud y Z.ai.
Halló una falta de estrategias creíbles para evitar un uso catastrófico o la pérdida de control de las herramientas de IA, mientras las compañías corren hacia la inteligencia artificial general (AGI) y la superinteligencia, una forma de IA que supera el intelecto humano.
Analistas independientes que estudiaron el informe concluyeron que ninguna empresa había presentado un plan comprobable para mantener el control humano sobre sistemas de IA de alta capacidad.
Stuart Russell, profesor de ciencias de la computación en la Universidad de California, Berkeley, dijo que las compañías de IA afirman que pueden construir IA sobrehumana, pero ninguna ha demostrado cómo evitar la pérdida del control humano sobre esos sistemas.
“Busco pruebas de que pueden reducir el riesgo anual de pérdida de control a uno entre 100 millones, en línea con los requisitos de los reactores nucleares”, escribió Russell. “En cambio, admiten que el riesgo podría ser uno entre diez, uno entre cinco, incluso uno entre tres, y no pueden justificar ni mejorar esas cifras”.
¿Cómo quedaron las empresas?
El estudio midió a las compañías en seis áreas críticas: evaluación de riesgos, daños actuales, marcos de seguridad, seguridad existencial, gobernanza y rendición de cuentas, y transparencia en el intercambio de información.
Aunque señaló avances en algunas categorías, el panel independiente de expertos concluyó que la implementación sigue siendo irregular y a menudo carece de la profundidad que exigen los estándares globales emergentes.
Anthropic, OpenAI y Google DeepMind recibieron elogios por una transparencia relativamente sólida, marcos de seguridad públicos e inversiones continuas en investigación técnica de seguridad. Aun así, presentan debilidades.
A Anthropic se le reprochó haber cancelado los ensayos de mejora humana y pasar a entrenar por defecto con interacciones de usuarios, una decisión que, según los expertos, debilita la protección de la privacidad.
OpenAI afrontó críticas por umbrales de seguridad ambiguos, por hacer lobby contra legislación de seguridad de la IA a nivel estatal y por una supervisión independiente insuficiente.
Google DeepMind ha mejorado su marco de seguridad, según el informe, pero sigue dependiendo de evaluadores externos remunerados por la empresa, lo que socava su independencia.
“Las tres compañías sufrieron daños actuales por escándalos recientes, daño psicológico, suicidios infantiles, el gran ataque de piratería contra Anthropic, y las tres tienen margen de mejora”, dijo a ‘Euronews Next’ Max Tegmark, presidente de FLI y profesor en el Instituto Tecnológico de Massachusetts (MIT).
Las otras cinco empresas mostraron avances desiguales, pero notables, según el informe, aunque aún queda recorrido.
Por ejemplo, xAI publicó su primer marco estructurado de seguridad, aunque los revisores advirtieron de que es estrecho y carece de desencadenantes claros para aplicar mitigaciones.
Z.ai fue la única compañía que permitió la publicación sin censura de sus evaluaciones externas de seguridad, pero se recomendó que divulgara el marco completo de seguridad y la estructura de gobernanza con áreas de riesgo claras, medidas de mitigación y procesos de toma de decisiones.
Meta presentó un nuevo marco de seguridad para sistemas punteros con umbrales basados en resultados, pero los revisores señalaron que debería aclarar las metodologías y compartir procesos de evaluación internos y externos más robustos.
DeepSeek fue valorada por la defensa interna ejercida por empleados, pero aún carece de documentación básica de seguridad. Se constató que Alibaba Cloud contribuyó a estándares nacionales vinculantes sobre requisitos de marcas de agua, aunque puede mejorar reforzando la robustez y la fiabilidad de los modelos, elevando su desempeño en métricas de veracidad, equidad y seguridad.
‘Euronews Next’ se puso en contacto con las empresas para obtener su reacción al informe, pero no recibió respuesta hasta el momento de la publicación.
“Menos regulada que los sándwiches”
“Espero que dejemos atrás a las empresas cuyo crecimiento se basa únicamente en su reputación“, dijo Tegmark. “Cuando se les preguntó a las empresas por sus planes para controlar la AGI, ninguna tenía un plan”, añadió.
Mientras tanto, compañías tecnológicas como Meta usan la superinteligencia como palabra de moda para inflar sus últimos modelos de IA. Este año, Meta bautizó su división de grandes modelos de lenguaje (LLM) como Meta Superintelligence Labs.
Tegmark dijo que hay un cambio profundo en las discusiones sobre la AGI y la superinteligencia. Antes, los tecnólogos la describían como una posibilidad real a 100 años vista, ahora dicen que podría llegar en los próximos años.
“La IA también está menos regulada que los sándwiches (en Estados Unidos), y continúa el lobby contra normas de seguridad vinculantes en el Gobierno”, afirmó. Pero Tegmark destacó que, por otra parte, hay una reacción sin precedentes ante la falta de control de la AGI y la superinteligencia.
En octubre, miles de figuras públicas, entre ellas líderes de la IA y la tecnología, pidieron a las compañías de IA que frenaran su carrera hacia la superinteligencia.
La petición, organizada por FLI, reunió firmas de todo el espectro político, entre ellas las de Steve Bannon (ex estratega jefe del presidente estadounidense Donald Trump), Susan Rice (exasesora de Seguridad Nacional de Estados Unidos bajo la presidencia de Obama), líderes religiosos y muchos otros expolíticos, además de destacados informáticos.
“¿Qué tienen en común estas personas? Estuvieron de acuerdo en una declaración. Creo que (es) extremadamente significativo que la base MAGA dura de Trump, los líderes religiosos, la izquierda y los movimientos sindicales coincidan en algo”, dijo Tegmark.
“La superinteligencia dejaría a todos los trabajadores sin posibilidad de ganarse la vida, porque los robots se quedarían con todos los empleos. La gente dependería de ayudas del Gobierno, para la derecha sería una dádiva y para la izquierda sería un Gobierno de 1984″, dijo. “Creo que lo que está pasando es que la situación (está) llegando a un punto crítico”.
