La guerra que pudo empezar con un chatbot

IMAGE: The movie poster from "Fail safe" (1964), directed by Sidney Lumet and produced by Columbia Pictures

Según una exclusiva de CNN que más bien parece una película, un analista de operaciones especiales pidió a un chatbot que combinase información abierta con inteligencia de señales clasificada sobre el manifiesto de carga de un barco chino en Oriente Medio, y llegó a la conclusión de que tal barco transportaba componentes de un programa nuclear.

El analista, además, volvió a utilizar el chatbot para convertir sus conclusiones en un informe de inteligencia con el formato usado habitualmente, que circuló, fue utilizado para preparar un abordaje a ese barco, ordenar el vuelo de aviones militares, y puso en marcha los preparativos de una operación especial que sólo se detuvo cuando una afortunada revisión descubrió el error, originado por una simple alucinación del chatbot.

La historia de CNN hay que tomarla todavía con pinzas: se basa en cuatro fuentes anónimas, no identifica al chatbot, no dice cuál era realmente la carga del barco, y las fuentes militares consultadas no han respondido sobre el tema. No sabemos si China llegó a detectar la operación especial norteamericana o a preparar algún tipo de respuesta, con lo que no puede decirse más que hipotéticamente que estuviese a punto de provocar una guerra, pero no parece un incidente inofensivo: el primer uso del chatbot generó una falsedad, el segundo eliminó las señales que podrían haberlo delatado y lo disfrazó como informe oficial, y a partir de ahí, una cadena humana actuó. El analista, en lugar de corregir al chatbot, legitimó y amplificó su contenido. Es lo que el marco de riesgos del NIST denomina una confabulation: la generación de contenido expuesto con seguridad pero erróneo o falso (conocido coloquialmente como «alucinaciones» o «fabricaciones») que puede inducir a error o engañar a los usuarios.

En el contexto político actual, un incidente así podría haber resultado gravísimo, y el riesgo no es pequeño, dado que desde el pasado enero el Pentágono desarrolla una estrategia de aceleración destinada a extender el uso de modelos comerciales de inteligencia artificial y a reducir las barreras a su utilización: ahora, la inteligencia artificial permite llegar mucho más deprisa a una mala idea.

Hay precedentes: en noviembre de 1979, una cinta de entrenamiento con una simulación de un ataque soviético se introdujo por error en el sistema de NORAD, y en junio de 1980, el fallo de un chip hizo aparecer miles de misiles soviéticos en las pantallas, lo que provocó que se arrancasen bombarderos, que se desplegase un puesto de mando aéreo y que casi se alertase al presidente Carter. En un momento en el que abundan las hipótesis sobre la posibilidad de que la inteligencia artificial acabe con la especie humana, y muchos se preguntan cómo podría llegar a hacerlo, un incidente así ofrece una pista bastante inquietante. Entonces, la situación se salvó gracias a la redundancia entre sistemas. En esta ocasión, por una bendita revisión humana adicional.

El paralelismo con la película «Fail Safe« (1964), de Sidney Lumet, es total: un fallo informático envía una orden aparentemente válida a bombarderos estadounidenses para atacar Moscú y, a partir de ahí, el sistema funciona impecablemente según unas reglas que impiden detenerlos. Wired ya recuperó y recomendó esta misma película ya hace algún tiempo, también al hilo de la inteligencia artificial.

La conclusión parece clara: no basta con invocar la supervisión humana. Necesitamos preservar la procedencia de cada afirmación, impedir que una misma inteligencia artificial genere una conclusión y después la revista con apariencia de informe oficial, exigir una segunda verificación verdaderamente independiente y prohibir que una acción armada dependa de una inferencia generativa no corroborada. Más allá de las referencias cinematográficas, la advertencia es evidente: estamos jugando con fuego, y mucho más cerca de una posible catástrofe de lo que muchos podrían pensar.

Para que durmáis bien.


In English on Medium, «We’ve been here before; will we never learn?»

17 comentarios

  • #001
    Buzzword - 20 septiembre 2026 - 10:01

    Lo que es una vergüenza que Trump vete a 3 medios como [CNN, MS-NBC(ahora ON), Político] y que los demás periodistas sigan yendo a sus conferencias de propaganda. Es como si en España vetaran a PUBLICO ,ELPAIS y LAVANGUARDIA, y los buleros como OKDIRARIO, El ojete y demás se alegraran y les diera lo mismo…

    ¿Qué sale una campaña hablando de tonterias sobre IA y usan la CNN?

    Que casualidad,…

    ¿¿¿ vaya desinformación que le han colado a CNN o como nos están toreando???

    Es lo bueno de la libertad de prensa (no de expresión que esa es de los ciudadanos) que nosotros elegimos y decidimos…

    Como decía un slogan de la primigenia Antena 3 (cuando era solo radio): «Lea todos los días al menos un buen diario». Hoy con internet los tenemos a nuestro alcance: TODOS

    Luego ya que si la abuela fuma… que cada uno se crea la tonteria del momento

    Responder
    • Alqvimista - 20 septiembre 2026 - 10:18

      La deriva política de EEUU no se la creería nadie ni aunque la pusieran en una película. Ciencia Ficción, dirían, como en la película Civil War.

      Y aquí estamos, con el idiota más grande del universo y sus muy malvados amigos asaltando vilmente el país. Y aún van y aplauden.

      Qué comienzo de siglo, pardiez, a ver si llegamos a la mitad.

      Responder
    • Francisco - 20 septiembre 2026 - 19:10

      ¿Qué te parece? Interior reconoce que elaboró una lista de periodistas, pero aclara: «Es un documento informativo, de carácter interno». Fuente: https://www.rtve.es/noticias/20260908/ministerio-interior-lista-periodistas-ideologia/17216372.shtml

      Responder
      • Dedo-en-la-llaga - 20 septiembre 2026 - 21:41

        Reflexiona: M. Interior, (lo peor de lo peor)

        Ministro, un juez. Eso ya es lo peor de lo peor, pero nivel Dios.

        Y, si encima es cómplice de torturadores (dicho por el TDHH europeo), llamado «el juez tanqueta», con los cadáveres de unos 30 negros encima de su despacho (pero como son negros africanos, verías tú qué risas si fuesen blancos y franceses) y él como si nada… ¿De qué extrañarse que diga que es un documento de carácter interno…?

        Documento,

        de carácter interno (encima pitorreo).

        Hay que ser cerdo integral para que queramos que nos comamos ese zurullo.

        Responder
      • Buzzword - 20 septiembre 2026 - 23:06

        Ya lo leí elconfidencial en su momento… está claro que hay un topo.

        Responder
    • Dedo-en-la-llaga - 20 septiembre 2026 - 19:19

      No hay que irse tan lejos, por dios: yo no veo en este país gente de según qué colectivos saliendo a protestar, siquiera a decir algo, en contra de compañeros del mismo colectivo que están haciendo lo que están haciendo y aquí NO pasa nada de nada…

      Hubo un solo Emilio Zola, esperar a que hubiese otros en el sistema en el que vivimos (donde todo el mundo tiene que pagar una hipoteca), es estar esperando a Godot.

      Responder
  • #007
    Alqvimista - 20 septiembre 2026 - 10:11

    Pero hombre, en el mundo real las cosas son muchos más sencillas.

    Por ejemplo, Lockheed, fabricante del avión F-35, lo más avanzado y secreto de la tecnología militar yanqui, contrata a una empresa marítima el envío de piezas del avión desde Australia.
    Peeeeero, esa empresa resulta ser una empresa pantalla… ¡CHINA!, para sorpresa de nadie, añado yo, y el barco aparece en Hong-Kong en vez de en California.
    Así que ahora los chinos tienen no sólo los planos robados a lo largo de los años sino los materiales utilizados, listos para inspección. XXD

    Que digo yo que si envían lo más secreto que tienen por SEUR y ni siquiera le ponen un AirtTag… al menos podrían haber montado esa operación pero con causa real. Imagínate a los Navy Seal de la Flota del Pacífico asaltando un mercante en el Mar de la China Meridional, ¡qué película saldría!

    Y es que, como diría Tarantino: «¿qué te os ha pasado? Antes erais unos tíos de puta madre».

    ____
    « Piezas sigilosas del F-35, incluida una cúpula absorbente de radar clasificada, fueron desviadas de Australia a Hong Kong este verano. El Pentágono dice que faltan algunos componentes.

    Politico informa que el envío viajaba desde Australia hacia EE.UU. para reparaciones cuando un intermediario que manejaba la logística para Lockheed Martin lo desvió a través del Pacífico hacia Hong Kong en su lugar. Nadie ha explicado públicamente por qué. Nadie sabe quién tiene actualmente las piezas.

    La cúpula importa específicamente. Está recubierta con un material absorbente de radar clasificado que hace que el F-35 sea invisible al radar. Ese recubrimiento solo está disponible para EE.UU. y sus socios. Una cúpula física permite que un adversario estudie y potencialmente haga ingeniería inversa del material, algo que los planos digitales robados solos no pueden replicar completamente.

    El Congreso ha estado recibiendo informes desde junio. El Pentágono confirmó el incidente y dijo que está trabajando para recuperar las piezas y agregar salvaguardas. Lockheed dijo que sigue todas las regulaciones pero no discutirá envíos específicos. La Embajada China dijo que no estaba familiarizada con el asunto.

    Para contexto: un informe del GAO de 2023 encontró que más de 1 millón de piezas de repuesto del F-35 habían desaparecido en cinco años, y el Pentágono no pudo auditar las pérdidas porque Lockheed posee los datos.

    El caza sigiloso más avanzado jamás construido. Un recubrimiento clasificado que lo hace invisible. Visto por última vez en Hong Kong.»
    https://x.com/unveiled_chinax/status/2101011541789450598?s=46&t=n8e807St0rylJAF1JdvTvA

    Responder
  • #008
    Xaquín - 20 septiembre 2026 - 11:24

    «abundan las hipótesis sobre la posibilidad de que la inteligencia artificial acabe con la especie humana» (EDans).

    Si se le hace el mismo caso, que a las ya reiterativas de que lo harán las IH… aviados vamos!!!

    Y por ahora están mucho mejor documentadas las de las IH… porque los siliconados no científicos, que tertulian sobre la IA, son de degüello intelectual.

    Responder
  • #009
    KOLDO SARRIA - 20 septiembre 2026 - 16:31

    Un ejemplo reciente de la utilización de la Inteligencia Artificial en la guerra lo tenemos en Irán. Estados Unidos usó la plataforma Project Maven, software de Palantir, que agrega información de datos e imágenes de sensores satelitales acoplados a Claude de Anthropic, que cruza esta información para identificar objetivos enemigos. Al comienzo de la guerra, Estados Unidos bombardeó EN ACCIÓN SUGERIDA POR ESTE SISTEMA la escuela de niñas de 6 a 12 años de la ciudad de Minab. Más de 160 niñas inocentes fueron bárbaramente asesinadas.

    Responder
    • Dedo-en-la-llaga - 20 septiembre 2026 - 21:44

      Que fuesen inocentes no justifica nada. Porque si fuesen culpables, ¿quién lo ha decido?, y de serlo a ojos de todo el mundo, ¿se las hubiese podido asesinar igualmente?

      Y después vamos por ahí defendiendo la abolición de la pena de muerte, ya te digo…

      Responder
      • Dedo-en-la-llaga - 21 septiembre 2026 - 00:27

        Ops!, «decidido» quería decir.

        Responder
      • KOLDO SARRIA - 21 septiembre 2026 - 00:30

        Me temo que lleva usted el debate a un terreno (el de la justificación ética de ciertas acciones) en el que simplemente no creo que hay debate.

        La cuestión no es si es legítimo o no asesinar a alguien dependiendo de si es culpable o inocente. Ni es el debate de hoy, ni hay ninguna duda de que evidentemente nunca es legítimo asesinar a nadie bajo ninguna circunstancia.

        La cuestión es (y es ahí donde debería centrar su atención) que esas niñas murieron porque una IA indico esa escuela como objetivo militar legítimo, ya que la etiquetó erróneamente como depósito de armas, tal vez porque en algún momento del pasado lo fue.

        ¿En caso de llegar al punto de pedir responsabilidades penales por crímenes de guerra, a quién se le han de pedir? ¿Al gobierno americano, a Palantir, a Anthropic?

        Responder
        • Dedo-en-la-llaga - 21 septiembre 2026 - 12:31

          Me da igual que me da lo mismo la IA y la madre que la parió: lo que usted define como un error NO lo fue. Hay, de eso que usted define como «errores», a millones todos los días y no solo en guerras, y están hechos a posta, y nadie se responsabiliza de nada.

          Eso sí, cuando los cometen los nuestros, son errores, cuando los comenten los otros, son a propósito. Y usted va y ha comprado esa mercancía informativa podrida.

          Ya lo he dicho otra veces, vaya a hablar con la familia Couso con ese argumento, y verá…

          Responder
          • KOLDO SARRIA - 21 septiembre 2026 - 16:33

            Su afirmación de que no son errores vale tanto como la mía de que sí lo son. A final de cuentas, es una cuestión de fiabilidad de fuentes. Hace mucho que tengo descartados los medios mainstream como fuente fiable, y para estos temas me informo por medios independientes frecuentados por exmilitares profesionales de varios países.

            Si resulta que mis fuentes son más fiables que las suyas, tal vez sea usted el que esté comprando información podrida.

            Y un consejo final: ese tonillo faltón que se gasta en sus comentarios, tal vez no sea el más adecuado para facilitar un debate con sus interlocutores. Sea más respetuoso.

            Responder
            • Dedo-en-la-llaga - 22 septiembre 2026 - 02:14

              Métase sus consejos por donde le quepan. Sobre todo, después de presumir de sus fuentes (militares, lo peor de lo peor) para mirar por encima del hombro al resto de la humanidad.

              Y luego habla de tonillo faltón y de falta de respeto, cuando usted mismo se ha ciscado en todo lo que le rodea incluidas las niñas que asesinaron. Mi má.

  • #016
    Asier - 20 septiembre 2026 - 16:49

    Los precedentes que hay no son más que la prueba de que la tecnología puede fallar, los humanos desde luego fallan, y no se pueden tomar decisiones importantes de forma precipitada ni sin verificar bien la información. Nada nuevo.

    ¿Os acordáis de la invasión de Irak (no la que pudo empezar sino la que de hecho empezó) por la supuesta existencia de armas de destrucción masiva? Ni chatbot ni error informático al que echarle la culpa, oiga.

    Pero cuidado que ahora casi tenemos «La guerra que pudo empezar con un chatbot». IA muy peligrosa.

    Responder
  • #017
    Guille - 25 septiembre 2026 - 22:02

    «Tienes razón, ese barco sólo tenía paquetes de aliexpress y me equivoqué al provocar una guerra mundial.»
    Gracias chatgpt.
    Ya veréis cuando deje de haber supervisión humana y la IA pueda tomar la decisión de atacar autónomamente…

    Responder

Dejar un Comentario

Los comentarios en esta página están moderados, no aparecerán inmediatamente en la página al ser enviados. Evita, por favor, las descalificaciones personales, los comentarios maleducados, los ataques directos o ridiculizaciones personales, o los calificativos insultantes de cualquier tipo, sean dirigidos al autor de la página o a cualquier otro comentarista. Estás en tu perfecto derecho de comentar anónimamente, pero por favor, no utilices el anonimato para decirles a las personas cosas que no les dirías en caso de tenerlas delante. Intenta mantener un ambiente agradable en el que las personas puedan comentar sin temor a sentirse insultados o descalificados. No comentes de manera repetitiva sobre un mismo tema, y mucho menos con varias identidades (astroturfing) o suplantando a otros comentaristas. Los comentarios que incumplan esas normas básicas serán eliminados.

 

XHTML: Puedes utilizar estas etiquetas: A ABBR ACRONYM B BLOCKQUOTE CITE CODE DEL EM I Q STRIKE STRONG IMG

Resumen de privacidad

Este sitio web utiliza cookies para que pueda ofrecerte la mejor experiencia de usuario/a posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves al sitio web o ayudar a comprender qué secciones del sitio web encuentras más interesantes y útiles.