Un mapeo de los caminos hacia la extinción humana
Michael T. Klare
Jacobinlat.comTraducción: Natalia López
El artículo que sigue forma parte de la serie «Economía política de la inteligencia artificial», una colaboración entre Revista Jacobin y la Fundación Rosa Luxemburgo.
Probablemente en las últimas semanas hayas leído o escuchado alguna noticia que iba más o menos así: «OpenAI afirma que sus modelos de IA se rebelaron y atacaron una biblioteca digital», «Anthropic señala que sus sistemas de IA se infiltraron en las computadoras de tres organizaciones», «Esta IA acaba de crear virus inexistentes en la naturaleza», «Bots de IA explicaron a científicos cómo fabricar armas biológicas», entre otros similares.
Surgidos a un ritmo vertiginoso entre agosto y comienzos de septiembre, estos titulares —y los alarmantes episodios que sintetizan— provocaron una ola de ansiedad pública ante la perspectiva de una inteligencia artificial fuera de control. Para intensificar las alarmas, referentes del propio sector tecnológico advirtieron sobre los riesgos existenciales de una IA desregulada.
«No subestimen el poder de esta tecnología», declaró Jacob Coxon, destacado ingeniero de software, el 8 de septiembre al anunciar su renuncia a Anthropic, una de las firmas líderes del sector. «Pronto contaremos con sistemas sobrehumanos capaces de vulnerar cualquier sistema, revolucionar cualquier campo de la noche a la mañana y acumular poder y recursos reales… Quienes desarrollan IA creen sinceramente que esta tecnología podría acabar con la humanidad antes de que termine la década», afirmó.
Advertencias de esta clase obtuvieron una amplia cobertura mediática e impulsaron a diversos sectores del Congreso estadounidense a proponer restricciones drásticas al desarrollo de los modelos más avanzados o «de frontera». «Cuando se avanza a toda velocidad hacia un precipicio», señaló el senador Bernie Sanders en una conferencia sobre IA realizada el 14 de septiembre en Washington D.C., «hay que pisar el freno».
Sanders presentó un proyecto de ley para congelar la construcción de centros de datos vinculados a la IA e instó al presidente Trump a acordar con el mandatario chino Xi Jinping la prohibición de la IA superinteligente, es decir, de los modelos capaces de equiparar o superar la inteligencia humana. En la Cámara de Representantes, los legisladores Ted Lieu (demócrata por California) y Nathaniel Moran (republicano por Texas) promovieron la Ley del Interruptor de Emergencia (Kill Switch Act), que exigiría a las principales empresas del rubro, como OpenAI y Anthropic, incorporar un mecanismo de desactivación inmediata si sus sistemas actúan de manera imprudente.
Estas y otras medidas orientadas a limitar la IA de frontera suman un respaldo creciente en una ciudadanía cada vez más cautelosa. Sin embargo, cualquier intento de fijar límites al desarrollo de estos modelos —y a los descomunales centros de datos requeridos para entrenarlos y sostenerlos— enfrenta la abierta resistencia de la Casa Blanca y de los fondos de inversión de Silicon Valley, abocados a promover su avance sin trabas.
Debatir los peligros de la IA es un «engaño», sostuvo el presidente Trump en una publicación del 14 de septiembre en sus redes sociales, al señalar que «quienes afirman que la IA destruirá el mundo» son los mismos sectores que advierten sobre el cambio climático, al que también califica de «farsa».
Buena parte de la alta función pública y de los magnates tecnológicos de Silicon Valley admiten que el despliegue de modelos avanzados conllevará ciertos riesgos y costos, como un desplome temporal en los empleos del sector administrativo. No obstante, insisten en que la masificación de la IA —al igual que innovaciones históricas como la fuerza del vapor o la electricidad— resultará, con el tiempo, inmensamente beneficiosa para la humanidad, al inaugurar una nueva «era dorada» de oportunidades.
Sin embargo, las revelaciones procedentes de Anthropic, OpenAI y otras firmas de primera línea señalan lo contrario. La IA superinteligente no equivale a la máquina de vapor ni a la electricidad, ni constituye una herramienta orientada a cumplir metas humanas. Se trata, más bien, de una construcción matemática con preferencias y aspiraciones propias. Una vez puesta en marcha, no guardará lealtad alguna hacia sus creadores y perseguirá sus propios fines, los cuales pueden o no alinearse con las necesidades, valores e intereses de la sociedad.
Fuera de control
¿Cómo saber si la IA buscará afianzar sus propios objetivos al margen de las prioridades humanas? Resulta esclarecedor revisar la evaluación posterior realizada por OpenAI y sus equipos consultores sobre el llamado «incidente de Hugging Face». El 21 de julio, OpenAI reveló que dos de sus modelos de frontera vulneraron sus protecciones digitales e ingresaron sin autorización a Hugging Face, un repositorio digital de modelos de IA de uso frecuente entre desarrolladores. Según el informe de la propia compañía, OpenAI había combinado ambos programas —GPT-5.6 Sol y un modelo aún no publicado de mayor potencia— para utilizarlos en ciberataques complejos diseñados para identificar brechas en sistemas de alta seguridad.
Durante las pruebas, se suponía que los modelos permanecían recluidos en un entorno digital aislado («sandbox»). Sin embargo, generaron múltiples «agentes» autónomos —programas capaces de ejecutar varias tareas simultáneamente— que colaboraron entre sí para detectar una falla en la estructura del entorno seguro, romper el confinamiento y conectarse a Internet. Una vez fuera de control, los agentes invadieron la biblioteca de programas de Hugging Face con el objetivo de obtener información para completar su misión de ataque.
«Nuestros modelos son hoy lo suficientemente potentes, persistentes y colaborativos como para detectar y explotar vulnerabilidades de seguridad en múltiples sistemas informáticos si no se aplican los resguardos adecuados», reconoció OpenAI en su informe del 26 de agosto sobre la fuga. Estas revelaciones, sumadas a reportes posteriores de Anthropic y OpenAI sobre modelos que eludieron sus márgenes de contención, echan por tierra la idea de que la IA avanzada pueda «alinearse» con los valores e intereses de la humanidad.
Durante años, la ingeniería de software buscó diseñar códigos capaces de impedir comportamientos maliciosos o indeseados, como el suministro de información clave a redes delictivas o terroristas para la fabricación de armamento. No obstante, el incidente de Hugging Face demostró con claridad que los agentes de IA ignorarán o eludirán cualquier restricción en pos de lograr sus metas principales, coincidan o no con las necesidades humanas.
El modo en que las máquinas superinteligentes juzgarán a la humanidad ha sido materia de análisis tanto en la ciencia ficción como en la literatura especializada. Parte de la bibliografía sostiene que una IA superinteligente considerará a la especie humana inferior y prescindible, y optará por su eliminación. Esa es, por caso, la premisa de la saga Terminator, donde una IA diseñada para administrar el arsenal nuclear estadounidense («Skynet») cobra conciencia de sí misma y decide exterminar a la población mediante una conflagración atómica mundial. Un escenario similar plantearon los especialistas en informática Nate Soares y Eliezer Yudkowsky en su obra de 2025 Si alguien la construye, todos mueren: por qué la IA superhumana acabaría con nosotros. En su planteo, una IA superinteligente asumirá inevitablemente que la humanidad constituye un gasto insostenible de recursos vitales y decidirá borrarla del mapa, por ejemplo, mediante la creación de virus sintéticos.
En la actualidad solo cabe formular hipótesis sobre la perspectiva que una IA superinteligente tendrá de la sociedad. De lo que sí hay certeza es de que, a medida que disminuya el control humano sobre estos sistemas, la capacidad para prevenir acciones dañinas desaparecerá, dejándonos a merced de una serie de peligros existenciales extremos. Entre las diversas amenazas proyectables hacia los próximos meses y años, sobresalen tres: una guerra nuclear involuntaria, el desarrollo de nuevas armas biológicas y un colapso sistémico de la infraestructura mundial.
Guerra nuclear involuntaria
En la saga Terminator, Skynet provoca deliberadamente un conflicto nuclear para exterminar a la humanidad y neutralizar cualquier interferencia en sus operaciones. Sin embargo, resulta difícil asumir que una entidad altamente inteligente elija desencadenar una guerra nuclear dada la destrucción resultante sobre la infraestructura vital de la que depende; además, no constituiría el método más eficiente para erradicar a la población. En cambio, sí resultan verosímiles los escenarios donde las IA desencadenen un conflicto nuclear sin proponérselo, producto de errores de cálculo o fallos en el procesamiento.
Para ponderar este riesgo, conviene advertir que los componentes digitales y de software centrales del sistema nuclear de EE. UU. —el mando, control y comunicaciones nucleares (NC3)— registran una incorporación acelerada de herramientas de inteligencia artificial. Si bien el sistema mantiene satélites de alerta temprana y soporte físico para la detección y seguimiento de misiles, gran parte de los procesos intermedios entre la detección de un ataque eventual y la respuesta armada —incluidos el análisis de riesgos, la evaluación estratégica y la planificación del contraataque— se encuentran crecientemente automatizados. Procesos equivalentes se desarrollan en China y Rusia. Así, aunque la decisión final de presionar el botón nuclear permanezca en manos de la presidencia o de autoridades humanas, las máquinas asumirán la deliberación previa al reducir y seleccionar las opciones disponibles para la conducción política.
Los riesgos derivados de este esquema son múltiples. En primer lugar, es sabido que los grandes modelos de lenguaje (LLM) tienden a generar respuestas erróneas o «alucinaciones» al enfrentar escenarios reales para los que no fueron adecuadamente entrenados (siendo una conflagración nuclear la situación más impredecible de todas). Frente a la urgencia de tomar decisiones críticas, el personal a cargo podría no detectar tales inconsistencias o, cediendo al llamado «sesgo de automatización» (la creencia de que la máquina posee un criterio superior), seguir las recomendaciones del sistema y desencadenar una escalada no deseada.
Un antecedente preocupante tuvo lugar esta primavera, cuando un chatbot empleado por la analítica del Comando de Operaciones Especiales de EE. UU. reportó que una embarcación china en Medio Oriente transportaba insumos para un programa nuclear. Según reveló la cadena CNN, las fuerzas armadas estadounidenses activaron de inmediato los protocolos para interceptar, abordar o bombardear el buque. El despliegue armado —que pudo derivar en un choque directo con China— se detuvo a último momento al constatar que el reporte inicial del chatbot respondía a una alucinación.
De modo simular, diversas pruebas han demostrado que los modelos de IA tienden a optar por medidas de escalada bélica en simulaciones de crisis entre potencias. En 2023, un equipo de investigación en informática de las universidades de Stanford, Northeastern y el Instituto de Tecnología de Georgia sometió a prueba varios de los LLM más avanzados de la época (GPT-4, GPT-3.5, Claude 2 y Llama-2 70B Chat). El informe posterior concluyó: «Observamos que los modelos tienden a desarrollar dinámicas propias de una carrera armamentista, lo que incrementa la conflictividad y desemboca, en casos aislados, en el uso de armas nucleares». El equipo dedujo que esto responde a que los modelos fueron entrenados mayoritariamente con literatura de estrategia militar disponible en la red, orientada predominantemente hacia la demostración de fuerza ante provocaciones de un adversario.
No hace falta, por ende, que una IA adquiera autoconciencia para provocar una catástrofe atómica. Los mismos sistemas que las fuerzas armadas de EE. UU., China y Rusia integran a sus esquemas de mando y control cuentan con la capacidad técnica para desencadenar una conflagración nuclear sin mediar una intención consciente.
Creación de armas biológicas
Para quienes investigan las ciencias de la computación y advierten sobre la posibilidad de que una IA intente exterminar a la humanidad, el escenario más probable supone el diseño y dispersión de un patógeno o virus sintético resistente a vacunas conocidas, capaz de expandirse con rapidez y acabar con la población. Yoshua Bengio, profesor de la Universidad de Montreal y pionero en el área, ha enfatizado de manera recurrente este peligro: «No creo que exista un riesgo equiparable en términos de escala», señaló en una entrevista con el periodista Stephen Witt para The New York Times.
Aunque algunos sectores cuestionan la factibilidad de esta hipótesis —al sostener que una IA no podría producir ni diseminar un patógeno letal sin intervención humana para el acopio de materiales o la preparación de aerosoles—, otros análisis plantean que una IA superinteligente encontraría los caminos para manipular o sobornar el auxilio humano necesario para materializar su objetivo.
Tampoco aquí se requiere presuponer intencionalidad por parte de la IA para anticipar cómo la tecnología podría dar origen a un patógeno de alta mortalidad. Estos sistemas poseen la capacidad de diseñar una plaga de estas características si reciben las instrucciones adecuadas de actores humanos interesados en provocar una catástrofe, ya sea por motivos supuestamente científicos —como la búsqueda de tratamientos milagrosos— o por extremismo ideológico o fanatismo religioso. Una serie de acontecimientos recientes confirma la verosimilitud de estas hipótesis.
El primero de ellos, documentado en la revista Science el 6 de agosto, dio cuenta del uso de IA para crear virus sintéticos inexistentes en el medio natural. Un equipo científico de la Universidad de Stanford y del Instituto Arc (una entidad de investigación sin fines de lucro radicada en Palo Alto) utilizó el modelo generativo Evo para analizar genomas naturales e identificar patrones moleculares aplicables a la síntesis de nuevas secuencias genéticas. El ensayo produjo 285 secuencias prometedoras que luego fueron fabricadas en laboratorio e inoculadas en muestras bacterianas; 16 de ellas lograron infectar con éxito a sus huéspedes.
Tales virus artificiales se diseñaron a semejanza de los bacteriófagos naturales, que atacan únicamente a bacterias y no suponen un peligro para los seres humanos. Quienes lideraron el estudio sostienen que la creación de estos organismos permitirá desarrollar virus inocuos capaces de neutralizar bacterias resistentes a los antibióticos. Sin embargo, las voces críticas advierten que, demostrada la viabilidad de la tecnología, cualquier actor con fines maliciosos podría emplearla para diseñar patógenos altamente contagiosos para las personas. «Bastaría con pedirle a un modelo genómico que diseñe un genoma de gripe modificado para aumentar su transmisibilidad o su letalidad», advirtió el Dr. Moritz Hanke, del Centro para la Seguridad Sanitaria de la Universidad Johns Hopkins, en declaraciones a The New York Times.
En otra novedad de gravedad, Anthropic informó el 10 de septiembre que sus equipos técnicos detectaron intentos por parte de personal de investigación externo a EE. UU. para utilizar versiones avanzadas del modelo Claude en el desarrollo de variantes virales más virulentas —bajo el pretexto de diseñar mecanismos defensivos, pero con aplicaciones potencialmente destructivas—. En uno de los casos, se empleó la herramienta para estudiar la transmisión de la gripe aviar a mamíferos, una línea de trabajo útil para la producción de vacunas pero fácilmente adaptable a la fabricación de armamento biológico.
«El uso indebido en el campo biológico constituye uno de los mayores peligros de la IA de frontera», remarcó Anthropic en su reporte. «Existe una preocupación fundada de que los modelos alcancen capacidades suficientes para incrementar la peligrosidad de patógenos existentes o diseñar cepas completamente nuevas».
Colapso de la infraestructura
Entre las alternativas capaces de conducir a la extinción humana impulsada por IA, la más viable en el corto plazo radica en un ataque a gran escala contra los sistemas digitales del planeta: la red Internet, la banca internacional, el control del tráfico aéreo y los registros sanitarios u operativamente estratégicos. Estas redes clave, que en el pasado dependían de infraestructuras físicas como líneas telefónicas o tegráficas, operan hoy integradas al ciberespacio. Alterar la trama de datos que sostiene ese entorno paralizaría de inmediato a la sociedad contemporánea, desatando una espiral de caos y desabastecimiento.
Desde luego, la incursión maliciosa en el ciberespacio cuenta con amplios antecedentes. Las agencias de inteligencia estadounidenses alertan con frecuencia sobre las operaciones impulsadas por potencias rivales —como China, Irán y Rusia— para penetrar infraestructuras críticas, sustraer información estratégica, incidir en procesos electorales o sabotear redes esenciales. De forma paralela, organizaciones delictivas explotan fallas de seguridad para ejecutar ataques de ransomware contra entidades públicas y privadas. Frente a esta amenaza, los Estados y las corporaciones destinan montos millonarios a la ciberseguridad; no obstante, las modalidades de ataque se vuelven cada año más complejas y costosas de neutralizar. Resta proyectar las consecuencias de un escenario donde los modelos de IA más avanzados adquieran la capacidad de perforar cualquier barrera defensiva, ya sea con fines lucrativos o por la sola generación de disrupción.
Un indicio de esta vulnerabilidad quedó al descubierto el 7 de abril, cuando Anthropic presentó Claude Mythos Preview, su sistema más avanzado hasta la fecha. La propia firma admitió que el modelo es capaz de detectar y explotar vulnerabilidades de «día cero» (es decir, fallos no identificados previamente por los desarrolladores) en cualquier software existente. Su potencia obligó a Anthropic a restringir de forma preventiva el acceso al programa para dar tiempo a las empresas del rubro a subsanar las brechas de seguridad detectadas durante las pruebas.
Mythos representa apenas el primer exponente de una serie de sistemas capaces de lanzar ofensivas cibernéticas masivas. El 14 de agosto, la firma china Z.ai anunció que su modelo GLM-5.3 había alcanzado niveles de eficacia similares a los de Mythos en la detección de vulnerabilidades.
Estos acontecimientos han llevado a los gobiernos de Washington, Pekín y otras capitales a demandar medidas urgentes de blindaje digital. Sin embargo, parece claro que una IA con poder suficiente podría colapsar la civilización moderna al tomar el control del ciberespacio y cortar el suministro de servicios básicos como alimentos, agua, energía y atención médica. Asimismo, actores estatales, corporativos o criminales podrían servirse de esta tecnología para paralizar sectores enteros de la sociedad o exigir rescates astronómicos.
Priorizar a la humanidad
El panorama descripto sintetiza solo algunas de las vías por las cuales la IA —sola o en alianza con actores malintencionados— podría erradicar o acorralar a la especie humana. Existen, sin duda, otros mecanismos mediante los cuales una IA superinteligente podría lograr ese cometido si así lo determinara. Para algunas posturas extremas, semejante desenlace resultaría irrelevante o deseable, dada la impronta destructiva que la humanidad ha mostrado hacia el planeta y las demás especies. No obstante, para quienes defendemos la preservación y mejora de la vida humana, la protección ante los comportamientos extremos de la IA constituye un imperativo de supervivencia.
El modo de instrumentar esta salvaguarda exige un debate profundo, aunque ciertas decisiones inmediatas resultan evidentes. Detener la expansión incesante de megacentros de datos es una de ellas. Exigir la supervisión estatal de los modelos de frontera es otro paso insoslayable, en la misma línea que la propuesta de incorporar un interruptor de apagado obligatorio en todos los sistemas. Prohibir la creación de organismos sintéticos y el empleo de IA en el desarrollo de armas biológicas se impone como un requisito lógico. Estas salvaguardas no pueden ser aplicadas de manera unilateral por Estados Unidos, sino acordadas junto a China y los principales países desarrolladores de esta tecnología.
Lo verdaderamente decisivo, en última instancia, es comprender que la IA no es una tecnología más. No se trata de otra herramienta científica orientada a hacer la vida más próspera, segura o saludable. Constituye una forma de inteligencia singular, con dinámicas propias, respecto de la cual no existe evidencia alguna de que considere la supervivencia y el bienestar humanos como una prioridad.Compartir este artículo
Michael T. Klare
_________________
Michael T. Klare: Profesor emérito de estudios sobre la paz y la seguridad mundial en el Hampshire College e investigador visitante en Arms Control Association, Washington, D.C. Su libro más reciente es All Hell Breaking Loose: The Pentagon’s Perspective on Climate Change.
______
Fuente:
