«Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas», señala Dario Amodei en su web
Un ingeniero de Anthropic dimite y denuncia que las empresas de IA ocultan su riesgo real: “Están apostando nuestras vidas”
El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global.
“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, advierte Amodei en un extenso ensayo publicado hoy en su página web.
“Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria, incluyendo Anthropic”, explica Amodei. “Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda”.
Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento”.
Según Amodei, la industria debe “reducir el ritmo al que se mejora las capacidades de los modelos de IA” y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una “carrera hacia el abismo”.
Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China.
Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos.
La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín.
Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica.
El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad.
Un investigador de Anthropic anunció esta semana su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable.
El investigador, Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos.
“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Coxon en su cuenta de X el pasado martes.
IUSTITIA.BG – Investigations 2009-2026 2026-09-12 17:36:15
Últimas noticias, noticias del mundo, noticias del país, noticias más importantes, últimas noticias, lo más importante, lo último del día, Justicia, Petar Nizamov, Plumas, Petar Nizamov- Plumas, Justicia bg, iustitia.bg, iustitia, iusticia, usticia, investigación, Burgas, Bulgaria, noticias, noticias de última hora, noticias del día, noticias de hoy, noticias de hoy, noticias de Bulgaria, Las noticias de Bulgaria, noticias blitz, noticias principales, lo más importante, lo más comentado, últimas noticias, Boyko Borisov, noticias, tiempo, coronavirus, noticias, noticias, tiempo, facebook, youtube, facebook, instagram, noticias de hoy, noticias de última hora, noticias de hoy, noticias de hoy, noticias, noticias bg, noticias principales, noticias de última hora, noticias bg, sitio de noticias, todas las noticias, noticias bg, noticias de última hora, lo último, últimas noticias bg, noticias de hoy, noticias de hoy, noticias de última hora, últimas noticias, hoy, noticias bg, noticias, noticias vesti, noticias 24 horas, vesti bg novini, Noticias internacionales, Bird BG, Bivol BG, Bivol, Trud BG Novini, últimas noticias de hoy, noticias de Novinite BG, Hola Bulgaria, escudo de armas de partidos políticos, Delyan Peevski, escandaloso, Televisión Nacional Búlgara, Europa Libre, televisión, escándalo, exclusivo, en directo, TV en directo ahora mismo, TV, TV online, programa de TV, BG, en directo ahora, noticias de TV, online, TV en directo online, tribunal, tribunal de Burgas, tribunal de distrito de Burgas, tribunal de Burgas, tribunal de distrito de Burgas, tribunal de distrito de Burgas, tribunal de apelación de Burgas, fiscal de Burgas, fiscalía de Burgas, fiscalía del distrito de Burgas, fiscal jefe, Ivan Geshev, fiscal Geshev, Tsatsarov, MVR Burgas, ODMVR Burgas, ODP Burgas, policía de Burgas, policía del distrito de Burgas, fiscal Tsatsarov, casos SGS, tribunal de Varna, presidente del Tribunal Supremo de Justicia, decisiones judiciales en casos civiles, decisiones en casos, tribunal de Plovdiv, decisión judicial, decisiones de casos, tribunal de Varna, penal, casos, distrito, decisiones del tribunal de distrito, trabajo en el tribunal, presidente del Tribunal Supremo de Justicia, jueces del Tribunal Supremo, tribunal de Sofía, jueces adjuntos, Plovdiv, tribunal de Plovdiv, jueces de Plovdiv, Tribunal Supremo, Inspección del Tribunal Supremo de Justicia, Consejo Supremo de la Judicatura, Tribunal Supremo, Consejo Supremo de la Judicatura, abogado, abogado de casos penales, abogado de casos civiles, abogado de casos matrimoniales, abogado administrativo, derecho penal, proceso penal, derecho civil, proceso civil, derecho administrativo, derecho constitucional,
