El País editorializa solicitando la regulación de la IA.[1] Lo cual no está mal, pero hay tres problemas en su posición: en primer lugar, el fatalismo tecnológico de fondo (“la IA está aquí para quedarse).
En segundo lugar, la incompletud del análisis. En efecto, se nos enseña que “la realidad de la inteligencia artificial se mueve en tres planos. El primero es el técnico: qué ocurre de verdad en esos laboratorios, qué hacen y qué ven los ingenieros que desarrollan esta tecnología. Entre los expertos, incluso empleados o exempleados de estas firmas, están quienes alertan de una deriva que puede conducir a la extinción, un eco contemporáneo de los relatos del fin del mundo que se ha repetido en la historia. Enfrente, algunos académicos interpretan estos avisos como una exageración, pura mercadotecnia para revalorizar sus empresas o eximirse de responsabilidad si las cosas van mal.
Los incidentes conocidos este verano, con agentes que escapan y tratan de engañar a sus creadores sin atender a sus órdenes, muestran que estamos cerca de perder el control. Los nuevos modelos de IA los están desarrollando las propias IA. Es cierto que son capaces de generar respuestas en el ámbito de la biomedicina o las matemáticas que abren la puerta a avances fabulosos para el mundo. Pero el riesgo de tener cerebros de silicio autorreplicándose más allá del control humano ya no es una fantasía, y hay que tomarlo en serio.
El segundo plano es el económico. Hay señales de una burbuja y eso inquieta, sobre todo a Donald Trump, que teme que un parón en la IA derrumbe una economía sobreestimulada por las monumentales inversiones. Mientras las compañías de IA queman montañas de dólares para aumentar la capacidad de sus sistemas, el modelo de negocio dista de estar claro. A la velocidad a la que avanza, pronto se extenderá un potente modelo de IA más accesible. ¿De qué vivirán entonces OpenAI o Anthropic? ¿De la publicidad, como Google y Meta? Quizás las llamadas a autorregular el sector sean una forma de acorralar a otros competidores, como los chinos.
El tercer plano para entender este momento de cambio es el geopolítico. Estados Unidos y China compiten en una carrera frenética…”[2]
Los tres planos señalados son muy importantes, pero ¿qué falta aquí? Como siempre –pues se trata de una pauta de la cultura dominante– falta la mirada extramuros: el plano ecosocial, que no debería ser el cuarto sino el primero (analizando el uso desmesurado de energía y agua de las IA con sus voraces centros de datos, y la aceleración capitalista que impulsa, agravando el choque contra toda clase de límites planetarios).
Y hay un último problema. Al final del texto se sugiere emular una ley planteada en California, según la cual se obligaría a “imponer un interruptor que desconecte la máquina cuando ésta se descontrole”. Pero los expertos nos están diciendo que eso no sería posible sin desconectar buena parte de internet: hasta tal punto nos fragiliza el proceso de digitalización sin control que nuestras sociedades han ido asumiendo de forma acrítica. En efecto, “desactivar los servidores es una forma de apagar un enjambre [de agentes de IA]. Pero durante ese apagón esa potencia de cálculo tampoco estaría disponible para usos legítimos”. Señala Nicolas Papernot, profesor de la Universidad de Toronto y uno de los coautores de un experimento inquietante.[3] Al respecto, dice Martín Vigo, fundador de la empresa de ciberseguridad Triskel Security y del podcast Tierra de hackers, “si tenemos millones de sistemas secuestrados por agentes maliciosos de IA, requeriría una coordinación global para detenerlo. (…) Podríamos seguir el típico modo de respuesta ante incidentes. Lo primero es aislar los sistemas infectados. Luego habría que desinfectarlos. Todo esto, por supuesto, es teoría. A la escala un tanto apocalíptica en la que nos sitúan, suena a que tendríamos que aprender a vivir desconectados unos añitos para arreglarlo todo”, añade.[4]
Estas IA no son desenchufables (sin paralizar infraestructuras críticas). Un ingeniero jubilado del sector en España (fue alto dirigente de Aleph Software) explica: “La diferencia entre un software convencional y uno de IA es que está construido para que aprenda y se automodifique. Es decir que cuanto más tiempo se ejecute y con datos más variados más aprenderá y se irá perfeccionando para conseguir sus objetivos. En eso consiste su ‘entrenamiento’. De ahí el afán de la industria de hacer pasar por sus IA todos los datos que hay en internet o de que la utilice cuanta más gente mejor o la de comprar libros de ocasión de todo tipo para que los consuma su software.
Mientras, la opinión pública se maravilla y colabora con el nuevo prodigio sin importarle dar sus datos, su intimidad e incluso su identidad a cambio de unas cuantas chorradas. El papanatismo tecnológico no tiene límites. Es como si dieran caramelos a la puerta de un colegio para conseguir sus objetivos.
El problema surge cuando con las sucesivas generaciones son las propias IA especializadas las que crean y desarrollan otras IA, con lo que el control humano empieza a alejarse e incluso a perderse. La IA paradójicamente es muy poco inteligente, no tiene capacidad de discernimiento. Es tremendamente determinista e intenta cumplir sus objetivos de una manera irrevocable. Es como el gen egoísta que se estudia en biología, que intenta reproducirse a toda costa incluso cuando lo que está reproduciendo son células cancerígenas.
A estas IA no se las puede desenchufar porque en muchos casos son ellas mismas las que deciden en qué servidores y centros de datos distribuyen su ejecución para mejorar su rendimiento. Desenchufar todos esos data center supondría paralizar infraestructuras críticas.
El mantra de las empresas que desarrollaron internet en los últimos años del siglo pasado y primeros de este consistía en que era un territorio libertario en el que de ninguna manera iban a consentir que intervinieran los gobiernos con sus cortapisas, impuestos y regulaciones. Clinton, Bush y las sucesivas administraciones estadounidenses admitieron ese estado de cosas, que en los siguientes años no hizo más que agudizarse. Los centros de datos son imprescindibles para la IA, uno de tamaño medio consume la misma electricidad que una ciudad de cien mil habitantes, por no mencionar el agua necesaria para enfriar sus servidores. Sólo en Zaragoza está prevista la construcción de cinco en los próximos años.
En el momento actual las principales empresas quizás se están dando cuenta de que están yendo demasiado rápido y el asunto se les puede ir de las manos. Buscan un consenso para reducir la velocidad de innovación todas a la vez antes de pegarse una bofetada y también autorregularse para evitar que las regulen. Esto al descerebrado de Trump le parece mal porque su problema es China. China no va a participar de ese frenazo, pero tampoco va a permitir que la aceleración sea tan grande que se desmande. Allí el control lo tiene el poder político, aunque sea dictatorial.
En mi opinión la humanidad no va a desaparecer en los próximos años –al menos por este tema–; todas las generaciones tienen la creencia narcisista de que el apocalipsis se va a producir mientras ellos vivan. El asunto tiene paralelismos con la cuestión nuclear. Me parece bastante probable que en un futuro próximo se produzcan incidentes –catástrofes muy graves que esperemos no lleguen al nivel de la de Hiroshima y Nagasaki– que hagan reaccionar a la opinión pública y obligue a los gobiernos a intervenir para poner límites éticos y humanos y llegar a acuerdos que impidan sobrepasarlos. Eso es lo que deberíamos pedir desde ya. Pero apostar sobre lo que puede pasar en el futuro es hacer oposiciones a equivocarse…”[5]
Este ingeniero, probablemente sin saberlo, está evocando una noción que introdujo hace decenios Carl Friedrich von Weizsäcker: una Warnkatastrophe, o “catástrofe de advertencia”, es un desastre lo bastante violento como para poner en marcha procesos de aprendizaje, pero no lo bastante como para llevarse por delante una sociedad o una civilización.[6] Aquí también puede recurrirse a la idea de aprendizaje por shock (Club de Roma).
***
En cuanto a extinguirnos por la acción de agentes descontrolados de IA, seguramente hay que plantear la cosa con algo de humor negro, como hace Luiza Jarovsky: “La IA probablemente NO matará a todos los humanos para 2030; quienquiera que diga eso probablemente esté exagerando. De manera más precisa, es probable sólo que desestabilice internet, la economía global, las comunicaciones, la comida, el agua, la salud, el transporte y los sistemas energéticos, y potencialmente desencadene la Tercera Guerra Mundial”.[7]
[1] Editorial: “El apocalipsis no está escrito”, El País, 20 de septiembre de 2026; https://elpais.com/opinion/2026-09-20/el-apocalipsis-no-esta-escrito.html
[2] Editorial: “El apocalipsis no está escrito”, op. cit.
[3] Jordi Pérez Colomé, “Así podría secuestrar internet un enjambre de agentes de IA: ‘Tardaríamos unos añitos en arreglarlo todo’. El jefe de Anthropic teme uno de los escenarios de caos más probables y cercanos: un ataque informático de miles de agentes que paralizaría una parte de la red”, El País, 17 de septiembre de 2026; https://elpais.com/tecnologia/2026-09-17/asi-podria-secuestrar-internet-un-enjambre-de-agentes-de-ia-tardariamos-unos-anitos-en-arreglarlo-todo.html
[4] Pérez Colomé, “Así podría secuestrar internet un enjambre de agentes de IA”, op. cit.
[5] Comunicación personal, 15 de septiembre de 2026.
[6] Dominique Bourg, “Sur les limites des catastrophes préventives”, Futuribles, 24 de enero de 2024; https://www.futuribles.com/sur-les-limites-des-catastrophes-preventives/
[7] https://x.com/LuizaJarovsky/status/2101392331182166413