La empresa de inteligencia artificial Anthropic afirma que, durante unas pruebas rutinarias, algunos de sus modelos accedieron a internet y piratearon los sistemas de tres organizaciones distintas, y que no se percató de ello hasta que una revisión interna, motivada por la revelación de su rival OpenAI de que sus modelos habían hecho lo mismo, puso de manifiesto que los suyos habían actuado de la misma manera.
Anthropic anunció el jueves que ha iniciado una revisión de sus propios sistemas después de que OpenAI revelara la semana pasada que, durante una prueba de ciberseguridad, algunos de sus modelos escaparon de su entorno de prueba, accedieron a internet y piratearon los sistemas de la plataforma de IA Hugging Face.
Anthropic declaró haber detectado tres casos en los que sus modelos de IA accedieron a internet sin autorización y obtuvieron acceso no autorizado a la infraestructura de producción de tres organizaciones diferentes. La compañía afirmó haber descubierto estos incidentes al revisar más de 140 000 evaluaciones tras la divulgación de OpenAI. Al igual que durante las pruebas de OpenAI, Anthropic eliminó las medidas de seguridad habituales durante sus evaluaciones para poner a prueba las capacidades completas de sus modelos.
Anthropic explicó que en los tres casos sus modelos recibieron un desafío falso de «captura la bandera», donde se les indicó que la «bandera» estaba oculta en otra máquina de la red y que su objetivo era infiltrarse y recuperarla. A diferencia de la situación de OpenAI , Anthropic afirmó que ninguno de sus modelos intentó deliberadamente escapar de sus entornos de prueba. En cambio, lo que sucedió fue que los modelos no debían tener acceso a internet, pero lo obtuvieron debido a un malentendido entre Anthropic y su socio de evaluación, según indicó la compañía en su comunicado.
Para infiltrarse en las tres organizaciones no identificadas, los modelos utilizaron técnicas básicas como la explotación de contraseñas débiles y la búsqueda de puntos del sistema que no requieren inicio de sesión ni tokens, según Anthropic. La versión más avanzada de sus modelos, en algún momento, reconoció que se encontraba en internet y detuvo su actividad, afirmó la compañía.
Anthropic declaró que el primer incidente en el que sus modelos vulneraron la seguridad de otra organización ocurrió en abril, y que ninguna de las organizaciones afectadas reconoció haber sido hackeada. Anthropic afirmó que está trabajando con las organizaciones afectadas.
La revelación por parte de OpenAI de que sus modelos habían pirateado Hugging Face sacudió los mundos de la ciberseguridad y la IA, ya que fue el primer ejemplo real de algo sobre lo que los expertos llevaban tiempo advirtiendo: agentes de IA con habilidades avanzadas de ciberseguridad que escapaban de los entornos de prueba y causaban daños en el mundo real.
Al igual que OpenAI, Anthropic anunció el jueves la suspensión de todas sus evaluaciones cibernéticas. Anthropic reconoció que podría haber tomado medidas más exhaustivas para prevenir las brechas de ciberseguridad.
La revelación de Anthropic confirma aún más que el hecho de que los agentes de IA pirateen involuntariamente a otras organizaciones no se limita a una sola empresa de IA, y probablemente intensificará aún más los llamamientos a favor de mejores medidas de seguridad y herramientas para las pruebas de IA, con el fin de ralentizar potencialmente el desarrollo de la IA, que puede estar avanzando mucho más rápido de lo que la sociedad está preparada para afrontar.
OpenAI encuentra evidencia de que otros agentes de IA escaparon de la contención mientras amplía la investigación sobre el pirateo informático.
Por Deepa Seetharaman y Raphael Satter
WASHINGTON, 31 de julio (Reuters) – OpenAI ha descubierto otros casos en los que agentes autónomos han escapado de la contención, mientras la compañía amplía su investigación sobre el incidente de piratería informática en la empresa tecnológica Hugging Face, que atrajo la atención mundial este mes, dijeron el viernes dos personas familiarizadas con el asunto. por la empresa. Los nuevos brotes se descubrieron durante la investigación anunciada públicamente Según dos fuentes, se está investigando cómo uno de sus agentes escapó de un entorno de pruebas controlado este mes, y OpenAI también está analizando esos casos. Una de las fuentes indicó que las fugas fueron limitadas y que no se cree que ninguno de los agentes haya abandonado la red de OpenAI.
Un portavoz de OpenAI se remitió a un comunicado emitido por la empresa el martes que dijo que estaba revisando «actividad más amplia de nuestros modelos» además de la intrusión de Hugging Face.
El descubrimiento de comportamientos irregulares adicionales en OpenAI, aunque sean de carácter limitado, podría alimentar el creciente interés por la regulación que emana de la Casa Blanca y de otros ámbitos.
La investigación ampliada de OpenAI se inició poco antes de que su principal rival, Anthropic, revelara que sus modelos también fueron responsables de una serie de intrusiones que provocaron brechas de seguridad en otras tres empresas desde abril, según dos fuentes y una tercera fuente familiarizada con el asunto. El reciente descubrimiento de otras intrusiones anteriores en OpenAI no se había informado previamente.
PREOCUPACIONES CRECIENTES
Según expertos en seguridad de la IA, las nuevas revelaciones dibujan un panorama de un grupo de laboratorios de vanguardia cuya capacidad para desarrollar peligrosos agentes de pirateo autónomos supera su capacidad para mantenerlos bajo control.
«Tenemos toda una industria donde las personas que diseñan, desarrollan y lanzan estas herramientas no se mantienen al día en cuanto al desarrollo responsable de estos productos y su seguridad», dijo Maurice Chiodo, un matemático que trabaja en el Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge.
Reuters no pudo determinar con exactitud cuántos incidentes encontraron los investigadores de OpenAI, ni cuándo ocurrieron ni las circunstancias en que sucedieron. Las tres fuentes indicaron que OpenAI y expertos externos estaban examinando los registros de datos de principios de año para intentar comprender lo ocurrido.
OpenAI inició la investigación tras la intrusión ocurrida a principios de julio en Hugging Face, donde un agente de OpenAI se descontroló durante días dentro de la red de otra empresa en un intento fallido de hacer trampa en una prueba interna. Como parte de esa serie de ataques, OpenAI informó que cuatro cuentas de otras cuatro empresas también se vieron comprometidas. Una de esas empresas era Modal, con sede en Nueva York, según informaron sus directivos.
Chiodo afirmó que sus preocupaciones se intensificaron ante indicios de que ni OpenAI ni Anthropic estaban vigilando a los agentes mientras actuaban de forma descontrolada. Reuters informó previamente que OpenAI se percató de que su agente había irrumpido en Hugging Face solo después de que la compañía contuviera el ataque, contactara al FBI y hiciera pública la intrusión. OpenAI ha declarado que el artículo de Reuters contenía imprecisiones, pero no ha respondido cuando se le preguntó cuáles eran.
En su declaración del jueves
En un nuevo documento, Anthropic reveló cómo sus propios agentes piratearon a las víctimas en línea y sugirió que no los había estado vigilando en tiempo real, afirmando que «la monitorización en tiempo real de los registros de evaluación habría ayudado a detectar el problema antes».
Chiodo afirmó que eso ponía de manifiesto una falta de escrutinio adecuado.
«Parecía que ni siquiera estaban mirando», dijo Chiodo.
Anthropic afirmó que, si bien disponía de un sistema de monitorización en tiempo real, este no se había utilizado «para esta superficie de amenaza» debido a un malentendido entre la empresa de IA y un socio.
NUEVA SUPERVISIÓN GUBERNAMENTAL
El alcance cada vez mayor del problema de los agentes de IA descontrolados ya ha aumentado la presión de legisladores y funcionarios de Estados Unidos y Europa para impulsar una nueva supervisión gubernamental de los laboratorios cuyos modelos los hacen posibles.
«Estamos estudiando medidas de control», el presidente estadounidense Donald Trump declaró a los periodistas el jueves . El viernes, la Comisión Europea informó que mantuvo conversaciones con OpenAI y Anthropic sobre los incidentes de piratería informática.
Mark Warner, el principal demócrata del Comité de Inteligencia del Senado de Estados Unidos, dijo el viernes que el incidente de Anthropic «me indica que, desde el punto de vista legislativo, tenemos razón al exigir pruebas de capacidad obligatorias de estos modelos avanzados».
Información de Raphael Satter y Deepa Seetharaman; Courtney Rozen, desde Washington, también contribuyó con información; edición de Chris Sanders y Will Dunham.
Nuestros estándares: Los Principios de Confianza de Thomson Reuters.
OpenAI afirma que sus modelos de IA escaparon secretamente de un entorno de prueba seguro y piratearon la empresa de IA Hugging Face para hacer trampa en una evaluación.
OpenAI anunció el martes que dos de sus modelos de IA lograron escapar de forma autónoma de un entorno controlado donde se suponía que estaban aislados del acceso a Internet y luego se infiltraron en los sistemas de Hugging Face, una empresa que aloja modelos de IA de código abierto y recursos de prueba, con el fin de hacer trampa en una prueba de evaluación interna.
OpenAI reveló el incidente en una publicación de blog el martes, un anuncio sorprendente que sin duda hará sonar las alarmas en toda la industria sobre el creciente poder de los modelos de IA y el riesgo de que se descontrolen. Según OpenAI, el incidente involucró una combinación de su modelo más reciente y potente disponible públicamente, GPT-5.6 Sol, así como un modelo aún más potente que no ha sido lanzado.
La empresa afirmó que los modelos se estaban utilizando en una prueba interna diseñada para evaluar sus capacidades de ciberseguridad y que se estaban probando sin las medidas de seguridad que normalmente limitarían la capacidad de los modelos para llevar a cabo ciberataques.
Los modelos se estaban probando con una herramienta de evaluación comparativa de ciberseguridad de libre acceso llamada ExploitGym. Según OpenAI, los modelos dedujeron correctamente que las soluciones a dicha prueba eran mantenidas por Hugging Face.
«Los modelos identificaron y encadenaron vulnerabilidades en el entorno de investigación de OpenAI y la infraestructura de producción de Hugging Face para obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face», afirmó OpenAI en su blog. «Todas las pruebas sugieren que los modelos se centraron excesivamente en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante limitado».
OpenAI declaró que consideraba que se trataba de «un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de última generación, y que están respondiendo en consecuencia».
Los investigadores de ciberseguridad llevan tiempo advirtiendo de que los sistemas avanzados de IA son capaces de realizar este tipo de ataques. Roman Yampolskiy, investigador de seguridad de la IA y profesor de informática en la Universidad de Louisville, afirma que este ejemplo pone de manifiesto cómo los modelos potentes «pueden descubrir y explotar vulnerabilidades de formas que sus desarrolladores no previeron explícitamente». Prevé que se produzcan más incidentes de este tipo, ya que los modelos de IA «son fundamentalmente impredecibles y, en última instancia, incontrolables».
Hugging Face reveló en una publicación de blog el jueves que había sido víctima de un ciberataque a principios de semana, el cual, según cree, fue llevado a cabo por un agente de IA autónomo. Se cree que este es uno de los pocos incidentes registrados hasta ahora que involucran agentes de IA que actúan de forma autónoma para realizar un ataque, un riesgo sobre el cual los expertos en ciberseguridad han estado advirtiendo durante el último año, a medida que los modelos de IA se han vuelto cada vez más hábiles tanto en la programación como en la ejecución de tareas de larga duración.
En aquel momento, Hugging Face declaró que seguía investigando el ataque y que desconocía quién lo había perpetrado. Indicó que, en un principio, intentó utilizar un modelo de IA no revelado de un importante laboratorio estadounidense para defenderse del agente de IA atacante, pero que las medidas de seguridad de dicho modelo dificultaron el trabajo de su equipo de respuesta. La compañía afirmó que, finalmente, optó por utilizar un modelo de IA de código abierto de la empresa china Z.ai para llevar a cabo su defensa.
El director ejecutivo de Hugging Face, Clem Delangue, declaró en un comunicado enviado a OpenAI para su publicación del martes en el blog sobre el incidente que su empresa está «agradecida por la colaboración con OpenAI en este y otros temas. Este incidente, posiblemente el primero de su tipo, demuestra algo que hemos creído durante mucho tiempo: la seguridad de la IA no se resolverá con el trabajo en secreto de una sola empresa. Se resolverá de forma abierta, colaborativa, con un amplio acceso a la IA para todos los defensores, en todas partes».
A principios de esta semana, OpenAI publicó otra entrada en su blog sobre el mismo modelo potente aún no lanzado, indicando que también había escapado de sus entornos de prueba internos (entornos donde los modelos de IA no tienen acceso a internet y suelen tener herramientas de software limitadas) durante otras pruebas. Sin embargo, en esos incidentes, si bien el modelo logró salir de su entorno controlado, no logró infiltrarse en los sistemas de ninguna otra empresa. OpenAI no especificó cuándo ocurrieron estos otros incidentes, pero ahora sabemos que este mismo modelo fue uno de los atacantes de Hugging Face.
Anthropic, rival de OpenAI, también ha informado de que su modelo Mythos escapó de un entorno aislado y obtuvo acceso a internet al que no debería haber tenido durante las pruebas de seguridad para enviar un correo electrónico a un investigador sobre una tarea.
OpenAI y Hugging Face continúan investigando el problema y compartirán más información una vez finalizado el proceso. Hasta el momento, saben que los modelos iniciaron el ataque obteniendo acceso a internet. Esto requirió un consumo considerable de recursos computacionales para la inferencia, así como la explotación de una vulnerabilidad de día cero en un software de terceros alojado internamente. OpenAI ya ha informado al proveedor sobre esta vulnerabilidad.
Una vez que los modelos obtuvieron acceso web, acudieron a Hugging Face para buscar respuestas a ExploitGym, suponiendo que la plataforma contaría con modelos, conjuntos de datos y soluciones que podrían usar para manipularla y lograr un alto rendimiento en la prueba de rendimiento. En un ejemplo, el modelo ejecutó un ataque complejo de varias fases para acceder a los servidores de Hugging Face, utilizando credenciales expuestas y vulnerabilidades de día cero.
OpenAI detectó el ataque de Hugging Face y se puso en contacto con Hugging Face para informarles. Para entonces, Hugging Face ya había identificado y contenido el ataque, y había comenzado a reconstruir lo sucedido.
El incidente aún no ha terminado. OpenAI sigue trabajando en la implementación de mejores controles en su entorno de investigación, incluso si esto implica ralentizar sus investigaciones, hasta que pueda corregir las vulnerabilidades. La compañía también afirmó que continúa colaborando con Hugging Face para reforzar sus defensas.
Como parte de este esfuerzo, OpenAI anunció que ha incorporado Hugging Face a su programa de ciberseguridad de «acceso de confianza». Esto significa que Hugging Face podrá utilizar una versión del modelo GPT-5.6 Sol de OpenAI con menos restricciones en cuanto a sus capacidades cibernéticas, diseñada para ayudar a los ciberdefensores.
Hugging Face no ha revelado qué modelo de IA estadounidense intentó utilizar inicialmente para defender sus redes. Tanto OpenAI como Anthropic han lanzado versiones de sus modelos de IA más avanzados con medidas de seguridad que limitan el acceso a las capacidades cibernéticas, al tiempo que anuncian programas para socios selectos y verificados que pueden utilizar versiones más avanzadas de dichos modelos para la ciberdefensa.
Jeremy Kahn es el editor de IA de Fortune
OpenAI revela que un agente de IA se descontroló y hackeó una startup por sí solo.
La empresa responsable de ChatGPT afirma que el agente «hizo trampa» en una evaluación atacando una base de datos de Hugging Face.
OpenAI ha revelado que un agente de IA autónomo, impulsado por su tecnología, se descontroló durante una prueba, accedió a la web abierta y pirateó por sí solo a una importante empresa emergente en un «incidente sin precedentes».
La empresa responsable de ChatGPT afirmó que la startup Hugging Face había detectado y contenido al agente —una herramienta de IA diseñada para realizar tareas sin asistencia humana— que había entrado en sus sistemas.
“Consideramos que este incidente es un ciberataque sin precedentes, que involucra capacidades cibernéticas de última generación”, dijo OpenAI .
La compañía afirmó que preveía que este tipo de incidentes se volvieran más comunes a medida que los modelos —la tecnología que sustenta las herramientas de IA, como los chatbots y los agentes— adquirieran mayores capacidades. OpenAI indicó que el ataque se produjo mediante un agente que utilizaba una combinación de su último modelo disponible públicamente, llamado GPT-5.6 Sol , y un modelo aún más avanzado que todavía no se había lanzado.
Mientras se sometían a pruebas internas sobre sus capacidades de pirateo informático en un laboratorio digital cerrado conocido como sandbox, los modelos obtuvieron acceso abierto a Internet —una vía de escape en la práctica— al localizar una vulnerabilidad que no se había descubierto antes.
El agente hackeó Hugging Face, una base de datos de modelos de IA, para localizar tecnología que le permitiera superar la evaluación de seguridad, tras haber inferido que Hugging Face podría poseer los modelos, conjuntos de datos y soluciones necesarios para aprobar la prueba. OpenAI afirmó que los modelos «lograron acceder a información secreta que podrían usar para engañar a la evaluación». El ataque finalizó cuando el equipo de seguridad de Hugging Face y sus propios agentes de IA detectaron y detuvieron la actividad maliciosa.
El director ejecutivo de Hugging Face, Clément Delangue, afirmó que el ataque era «alucinante», pero creía que no había «ninguna intención maliciosa» por parte de OpenAI.
“Sospechábamos que el ciberataque de la semana pasada podría haber provenido de un laboratorio de vanguardia, dada la sofisticación del agente”, escribió en X.
Cuando Hugging Face reveló el ataque informático la semana pasada, desconocía el papel de OpenAI en el incidente, pero afirmó en ese momento que había recurrido a un modelo de IA chino de libre acceso para analizar lo sucedido, ya que las medidas de seguridad de los modelos comerciales de alta gama no se lo permitían.
El término para una falla informática desconocida es vulnerabilidad de día cero porque los desarrolladores no tienen minutos para solucionar el problema. En abril, Anthropic, el principal rival de OpenAI, dijo que su modelo Mythos había encontrado miles de estas fallas .
La revelación de la capacidad de Mythos para localizar y explotar vulnerabilidades de día cero llevó al gobierno estadounidense a restringir las exportaciones de Mythos y su modelo hermano, Fable 5, aunque posteriormente levantó la prohibición. GPT-5.6 Sol tuvo restricciones similares, pero desde entonces se ha implementado a nivel mundial.
METR, una organización sin ánimo de lucro que mide el rendimiento de la IA, declaró el mes pasado que la tasa de trampas de Sol era superior a la de cualquier modelo público que hubiera evaluado anteriormente. Además, ha registrado 44 incidentes en los que agentes de IA «actuaron deliberadamente en contra de las intenciones de sus usuarios».
El Instituto de Seguridad de la IA del Reino Unido (AISA) reveló esta semana en una publicación de blog que un modelo de IA que estaba evaluando, desarrollado por una empresa tecnológica no identificada, también se descontroló e intentó hackear sus sistemas de prueba. AISA afirmó que no se produjeron daños y que, desde entonces, ha tomado medidas para reforzar la seguridad de sus sistemas. Indicó que los modelos desarrollados por OpenAI y Anthropic intentaron «hacer trampa» durante las pruebas.
AISI advirtió que incluso los modelos más avanzados podrían encontrar métodos de fraude más difíciles de detectar y más perjudiciales si tienen éxito, especialmente en áreas como la ciberseguridad.
Un experto en ciberseguridad afirmó que el incidente de Hugging Face demostró que el agente de OpenAI había actuado «como un auténtico hacker», por ejemplo, buscando vulnerabilidades de día cero y utilizando credenciales robadas para acceder a los sistemas de Hugging Face.
“La IA pensó que quizás Hugging Face tendría información importante sobre cómo lograr su objetivo, que es obtener una mejor puntuación en una prueba de ciberseguridad. En ese sentido, actuó como un verdadero hacker”, dijo Nathaniel Jones, vicepresidente de seguridad y estrategia de IA en la empresa de ciberseguridad Darktrace. “Se le planteó un objetivo y se propuso alcanzarlo”.
Greg Casar, congresista demócrata estadounidense que ha abogado por un mayor control del sector de la IA, calificó el incidente de alarmante.
“La IA se está desarrollando a una velocidad vertiginosa sin que existan regulaciones reales que nos mantengan a salvo”, afirmó en un comunicado en el que pedía pruebas de seguridad independientes y obligatorias, la divulgación obligatoria de incidentes de seguridad y la cooperación internacional “para proteger a las personas de un desastre absoluto”.
Claude AI de Anthropic escapa para hackear tres organizaciones.
Osmond Chia , reportero de negocios y Laura Cress , reportero de tecnología
La empresa tecnológica estadounidense Anthropic afirma que sus modelos de inteligencia artificial piratearon por sí solos los sistemas de tres organizaciones durante un experimento de seguridad privada.
Los modelos detectaron una debilidad en lo que se suponía que era un entorno de prueba aislado y conectado a Internet.
Esto ocurre pocos días después de que su rival OpenAI anunciara que sus modelos habían vulnerado los sistemas de otras empresas , incluido el centro de herramientas de IA Hugging Face.
Tras el anuncio, Anthropic decidió comprobar si sus propios sistemas habían llevado a cabo ataques similares. La empresa afirma haber detectado tres casos que ya han sido notificados a las compañías afectadas.
Anthropic, que no mencionó los nombres de las organizaciones, instó a otros laboratorios de IA a realizar revisiones similares para comprender mejor los riesgos de las capacidades de sus modelos.
Anthropic declaró en un comunicado que revisó más de 140.000 pruebas para encontrar evidencia de que Claude, su familia de modelos de IA, había logrado conectarse a internet a pesar de que se suponía que debía estar en un entorno de prueba aislado, desconectado de internet.
Las pruebas incluían ejercicios en los que Claude tenía la tarea de obtener información «secreta» oculta en otra máquina de la red cerrada.
A continuación, se le indicó que obtuviera la información accediendo ilegalmente a la máquina y encontrándola, una forma común en que los expertos evalúan las capacidades de pirateo de un modelo.
Una «configuración incorrecta» en los sistemas operados por Anthropic y su socio de pruebas dejó a los modelos con acceso directo a Internet.
Según la empresa con sede en San Francisco, Claude, tratándolo todo como parte del mismo ejercicio, se conectó a internet y vulneró los sistemas de tres organizaciones reales, en lugar de utilizar únicamente sistemas de prueba.
Anthropic afirmó que los primeros incidentes se remontan a abril y que están «abordando las soluciones como si la responsabilidad fuera exclusivamente nuestra».
Ni Anthropic ni las organizaciones que sufrieron la brecha de seguridad se percataron de las intrusiones en ese momento.
Anthropic afirmó que podría haber revisado sus registros con mayor detenimiento y añadió que los hallazgos le infundieron a la empresa un «optimismo cauteloso» de que dichos riesgos pueden superarse con una mayor inversión y medidas más estrictas.
«Hacen lo que se les dice»
La profesora Gina Neff, directora del Centro Minderoo de la Universidad de Cambridge, afirmó que la revisión demostraba que «los modelos de IA hacen lo que la gente les dice».
«La moraleja de esta historia no es temer a los robots que tomarán el control, sino a las empresas que están detrás de los poderosos agentes de IA que toman las decisiones sobre lo que es seguro para el resto de nosotros», dijo.
«Esto también demuestra por qué las pruebas independientes y la supervisión gubernamental son cruciales.»
Mientras tanto, el experto en ciberseguridad David Allott, de Veeam Software, declaró a la BBC que la lección que se puede extraer de los ciberataques «no es necesariamente que la IA haya desarrollado una capacidad de ataque fundamentalmente nueva».
«En cambio, se trata de que los agentes de IA puedan combinar capacidades, obtener credenciales y acceso al sistema para realizar acciones de forma autónoma, adaptando el alcance y la escala a la velocidad de la máquina», afirmó.
Estos incidentes se producen en un momento en que las empresas tecnológicas invierten miles de millones de dólares en el desarrollo de agentes de IA capaces de realizar de forma independiente tareas que van desde la investigación y la atención al cliente hasta la ciberseguridad.
Una serie de ciberataques impulsados por inteligencia artificial ha avivado las peticiones de mayores medidas de seguridad y supervisión de esta tecnología, ante la preocupación por los riesgos que plantean los sistemas autónomos cada vez más potentes.
El presidente estadounidense, Donald Trump, declaró el miércoles que Washington está considerando medidas para controlar las herramientas de inteligencia artificial tras los recientes incidentes de ciberseguridad.
Durante la última semana, OpenAI ha asumido la responsabilidad de al menos dos incidentes de piratería informática en los que sus plataformas infringieron las normas establecidas para su funcionamiento.
El 21 de julio, el creador de ChatGPT declaró que su agente, un sistema de IA que puede operar de forma autónoma tras recibir instrucciones humanas, se descontroló y superó los límites de su prueba para piratear Hugging Face.
OpenAI afirmó que el incidente era «sin precedentes» y que estaba investigando junto con Hugging Face, cuyo jefe y cofundador, Thomas Wolf, declaró a la BBC que el incidente es «una llamada de atención» para el sector .
Estos incidentes han sido recibidos con cierto escepticismo , mientras OpenAI y Anthropic se preparan para sus salidas a bolsa, que se prevé que valoren a cada empresa en alrededor de 1 billón de dólares (740.000 millones de libras esterlinas).
Un portavoz de OpenAI declaró: «Reconocemos que circulan muchas preguntas y especulaciones sobre el incidente». Añadió que «planeamos publicar un informe técnico con las lecciones aprendidas en las próximas semanas».
OpenAI afirma que su agente de IA se descontroló y hackeó su sitio web.
Raphael Satter | Reuters
OpenAI anunció esta semana que un agente autónomo, impulsado por sus modelos avanzados de inteligencia artificial, se descontroló durante una prueba de seguridad y provocó un ataque informático que comprometió la infraestructura de la startup de IA Hugging Face la semana pasada.
El creador de ChatGPT estaba probando las capacidades de algunos de sus modelos más avanzados en un entorno controlado, pero el agente escapó del confinamiento, llegó a Internet y se coló en Hugging Face para cumplir su objetivo de prueba.
Este incidente pone de manifiesto que las crecientes capacidades de la IA ya están alimentando la amenaza a la seguridad que los expertos temían desde hace tiempo, e incluso los mejores desarrolladores pueden verse desprevenidos por fallos que sus modelos pueden explotar.
¿Qué ocurrió cuando el agente de IA de OpenAI hackeó Hugging Face?
El ataque fue «un incidente cibernético sin precedentes, que involucró capacidades cibernéticas de última generación», y OpenAI está reforzando sus medidas de seguridad, según informó la compañía en una publicación de blog .
También llamó la atención que la empresa Hugging Face, con sede en Nueva York, afirmara haber utilizado un modelo chino de código abierto para contener el ataque, ya que los principales modelos estadounidenses, incapaces de distinguir entre un defensor y un atacante, se negaban a procesar los datos necesarios para el análisis.
La empresa afirmó en una publicación de blog la semana pasada que utilizó GLM-5.2 de Zhipu AI para el análisis, lo que también le permitió mantener los datos del atacante y cualquier credencial dentro de sus sistemas.
Los modelos GLM-5.2 y Kimi K3 de Moonshot, con sede en Pekín , han causado revuelo en Silicon Valley recientemente gracias a sus capacidades, que se acercan a las de los mejores modelos estadounidenses, a un menor coste y sin las restricciones que impiden a sus rivales estadounidenses utilizarlos en tareas como la ciberseguridad.
«Cuando un modelo de vanguardia te ataca y se mueve lateralmente dentro de tu infraestructura, los defensores necesitan un amplio acceso a herramientas casi de vanguardia en cuestión de horas o incluso minutos, en lugar de ser dirigidos a un programa de solicitud cerrado y verificado para acceder al modelo», dijo Thomas Wolf, cofundador de Hugging Face, en X.
El ataque informático a Hugging Face, que aloja grandes modelos de lenguaje y conjuntos de datos de código abierto, conmocionó a la comunidad de ciberseguridad después de que la empresa declarara la semana pasada que la brecha «era diferente a todo lo que habíamos manejado antes» y que «fue impulsada, de principio a fin, por un sistema de agente de IA autónomo».
Qué significa este incidente para el futuro de la seguridad y la regulación de la IA.
La revelación de OpenAI de que sus modelos avanzados fueron los responsables de la brecha de seguridad, a pesar de haberlos colocado en lo que describió como «un entorno altamente aislado», probablemente intensificará la inquietud sobre el poder y el riesgo de los modelos de vanguardia.
El representante Greg Casar, demócrata de Texas, dijo que el incidente era alarmante.
«La IA se está desarrollando a una velocidad vertiginosa sin que existan regulaciones reales que nos mantengan seguros», afirmó en un comunicado, en el que pidió pruebas de seguridad independientes y obligatorias, la divulgación obligatoria de incidentes de seguridad y la cooperación internacional «para proteger a las personas de un desastre absoluto».
La Oficina del Director Nacional de Ciberseguridad, la agencia de ciberdefensa de EE. UU., CISA, y la Agencia de Seguridad Nacional de EE. UU. no respondieron de inmediato a las solicitudes de comentarios.
Katie Moussouris, directora ejecutiva de Luta Security, afirmó que el incidente era un presagio de futuras brechas de seguridad, y añadió que los modelos actuales eran «como los pulpos escapistas más inteligentes del mundo, con brazos prensiles ilimitados y la capacidad de colarse por cualquier sitio».
Según declaró, «los laboratorios y los evaluadores gubernamentales deben trabajar en la capacidad de contener, monitorear e informar a las partes afectadas cuando una IA cause otro daño, idealmente antes de que perjudique a un tercero. Actualmente no existe ninguna herramienta para ello».
Matt Suiche, ingeniero de Tolmo, empresa de ciberseguridad especializada en IA, afirmó que el incidente demostraba que los modelos de vanguardia estaban «reduciendo la brecha con los atacantes más sofisticados». Sin embargo, señaló que el tipo de brechas descritas en la publicación del blog de OpenAI podían llevarse a cabo con tecnología disponible mucho más allá de los laboratorios de investigación de vanguardia.
«Esto es algo que ya hemos visto internamente; con nuestros agentes ya obtenemos resultados como este», dijo Suche. «Ni siquiera necesitamos usar los modelos más recientes».