Enthropic está pidiendo a los principales laboratorios de inteligencia artificial que consideren una pausa coordinada y verificada en el desarrollo, advirtiendo que los rápidos avances en tecnología pronto podrían mejorar los sistemas de inteligencia artificial más rápido de lo que la sociedad puede gestionar los riesgos.
El fabricante de la nube dijo que la capacidad de la IA para realizar sus propias tareas se duplica aproximadamente cada cuatro meses y avanza hacia una “superación personal iterativa”, el punto en el que la tecnología puede mejorar sin intervención humana.
“Si los sistemas son totalmente capaces de crear sus propios sucesores, las formas en que podemos protegerlos, monitorearlos y moldear su comportamiento se vuelven aún más importantes”, dijo la startup en una extensa publicación de blog el jueves, y agregó que una pausa permitiría a la sociedad “lidiar con sus enormes consecuencias”.
Vea las noticias con la aplicación 7NEWS: descárguela hoy
“Aún no hemos llegado a ese punto, y la superación personal iterativa no es inevitable. Pero podría llegar antes de lo que la mayoría de las organizaciones están preparadas”, escribieron en la publicación el cofundador de Anthropic, Jack Clark, y la directora del Anthropic Institute, Marina Favaro.
A medida que la tecnología se vuelve cada vez más poderosa, aumentan los temores de que los sistemas avanzados de inteligencia artificial puedan ir más allá del control humano y causar daño social.
El propio modelo Mythos de Anthropic causó conmoción en industrias como la banca y el software a principios de este año con su capacidad para detectar vulnerabilidades en el código existente.
Pero la regulación ha sido lenta, especialmente en Estados Unidos, donde tienen su sede la mayoría de los principales laboratorios de IA.
Una orden ejecutiva del presidente de Estados Unidos, Donald Trump, a principios de esta semana asignó la responsabilidad al propio laboratorio, pidiéndole que presente voluntariamente sus modelos más capaces a pruebas de ciberseguridad del gobierno antes de su publicación.
Los investigadores de IA han pedido anteriormente una pausa, pero con poco éxito.
Elon Musk, propietario del laboratorio de IA xAI, estuvo entre los impulsores que la organización sin fines de lucro Future of Life Institute detuvo en 2023 para darle al desarrollo de la IA seis meses de barandillas de seguridad.
Enthropic se ha posicionado durante mucho tiempo como un laboratorio de inteligencia artificial centrado en la seguridad.
A principios de este año, se negó a permitir que el ejército estadounidense utilizara su modelo para vigilancia interna y armas totalmente autónomas, lo que llevó al gobierno a incluirlo en una lista negra de seguridad nacional, que entrará en vigor después de 2026.
Reuters informó el viernes que algunas partes del gobierno estadounidense están mostrando signos de aliviar la controversia.
Aún así, Enthropic continúa lanzando modelos cada vez más potentes y en febrero retiró una importante promesa de seguridad, diciendo que ya no frenaría la IA potencialmente peligrosa si sus rivales igualaran sus capacidades.
Recientemente fue valorada en 965.000 millones de dólares (1,4 billones de dólares australianos) en una importante ronda de financiación y el lunes presentó de forma privada una oferta pública inicial en Estados Unidos, lo que la sitúa por delante de su rival OpenAI en la carrera por asegurar una valoración y una financiación significativa.
La publicación del jueves de Anthropic advirtió que una recesión unilateral o mal coordinada podría resultar en que actores menos cautelosos continúen, lo que podría socavar la seguridad general.
Dijo que las pausas significativas requerirían un acuerdo entre “múltiples laboratorios con buenos recursos” que operen en la frontera de la tecnología, así como reglas sobre qué condiciones desencadenarían o levantarían tales pausas y quién las monitorearía.
“Por el contrario, una pausa unilateral por parte de un laboratorio se puede lograr de inmediato, pero logra muy poco: cambiará quién está en primera línea, pero no creará el amplio proceso de deliberación que falta actualmente”, dijo la startup.
Su brazo de investigación, el Enthropic Institute, planea estudiar los sistemas necesarios para apoyar la recesión y convocar a responsables políticos, investigadores, grupos de la sociedad civil y empresas rivales de IA en los próximos meses para discutir la gestión de riesgos como la autocorrección repetitiva.
OpenAI, xAI, Alphabet, Meta Platforms y la firma francesa Mistral no respondieron de inmediato a las solicitudes de comentarios sobre si se unirían a la llamada.
