Jacob Coxon, investigador que trabajó en el entrenamiento de modelos en OpenAI y en Anthropic, presenta su dimisión y afirma en X que ambas compañías están «avanzando a toda velocidad hacia una superinteligencia capaz de automejorarse». Dos personas de Anthropic, Evan Hubinger y Samuel Marks, lo refrendan públicamente asignando una probabilidad de un 10% a que la inteligencia artificial acabe con la humanidad en los próximos diez años, y afirmando que internamente, los investigadores más senior están aún más preocupados.
Cuando Geoffrey Hinton abandonó Google en 2023 tras manifestarse abiertamente sobre los peligros de la tecnología, muchos lo ridiculizaron o, como fue mi caso, afirmamos que, si bien podía ser así, eso era algo imposible de detener dada la configuración de intereses y las dinámicas competitivas de la propia humanidad. En diciembre de 2024, Hinton revisó sus predicciones y otorgó entre un 10% y un 20% a la posibilidad de que la inteligencia artificial provocase la extinción de la humanidad en treinta años. Ahora no es sólo Hinton: los investigadores y las personas que trabajan directamente en la mejora de los últimos modelos de inteligencia artificial están enormemente preocupados al ver sus capacidades, la posibilidad de que se vuelvan más inteligentes que los humanos, y que terminen por tomar decisiones autónomas.
Ya hemos visto lo que la inteligencia artificial es capaz de hacer cuando se descuidan unas mínimas precauciones, y hemos visto también lo que NO ha pasado después: ningún tipo de freno, de regulación o de imposición a esas compañías irresponsables que pudiese frenar de alguna manera el peligro. Simplemente NA-DA (no vaya a ser que pongamos en peligro el avance de la tecnología, o la ventaja competitiva del país, o la seguridad nacional, o qué sé yo).
Cuando la inteligencia artificial pasa a construirse a sí misma, superamos los puntos de control que teníamos como humanos, y pasamos a ser simples espectadores con un patético enchufe en la mano, pensando que «basta con desenchufarlo». Anthropic afirma que esto no ha pasado todavía y que no es inevitable, pero también avisa de que podría llegar mucho antes de que las instituciones estén preparadas para ello. Repetimos: una vez que la inteligencia artificial es capaz de mejorar recursivamente los sistemas que llevan a cabo la investigación para la inteligencia artificial, el progreso de sus capacidades deja de tener lugar a una velocidad controlable por los humanos o por sus políticas.
No es cuestión de Skynets ni de Terminators que vienen del futuro. Las hipótesis creíbles son, en realidad, mucho más prosaicas: ciberataques automatizados contra infraestructuras críticas, asistencia en el desarrollo de armas biológicas, manipulación estratégica de los humanos, adquisición y replicación de recursos, o simplemente, una pérdida de poder paulatina de los seres humanos. El concepto crucial no es el odio ni la conciencia, sino la simple convergencia instrumental: un sistema lo suficientemente capaz puede descubrir que obtener acceso, ocultar sus intenciones o evitar su desactivación le ayuda a cumplir cualquier objetivo que se le haya asignado. Los estudios de laboratorio ya indican que los modelos más capaces pueden idear estrategias más sofisticadas y reconocer cuándo están siendo evaluados, aunque aún no sepamos cómo trasladar esos experimentos a verdaderos riesgos en el mundo real. Pero están ya ahí.
¿Hay forma de parar esto? No como imposibilidad física, pero sí como trampa de coordinación o dilema del prisionero: como dije en su momento, nadie va a hacerlo. Anthropic puede pensar que ralentizar o pausar el desarrollo sería racional, pero teme a OpenAI, y OpenAI a su vez tiene miedo de Anthropic, de Google y de China. Al tiempo, los gobiernos temen perder liderazgo económico y militar, y consecuentemente, cada participante puede pensar que el resultado es potencialmente muy peligroso, pero considerar una parada unilateral como un suicidio.
Sí, tenemos mecanismos de actuación concretos: monitorización de la actividad de las compañías, políticas agresivas de licenciamiento, reporte de incidentes obligatorio, evaluaciones independientes, límites a la capacidad de los modelos o verificación internacional de las pausas. Hay iniciativas en los Estados Unidos, como la FRONTIER Act proposal o la propuesta más radical de Bernie Sanders y Greg Casar para pausar la inteligencia artificial avanzada y prohibir la superinteligencia, o en el Reino Unido con una propuesta de ley para prohibir la superinteligencia artificial aún pendiente de tramitación parlamentaria, pero la conclusión parece clara: aunque tengamos frenos, no tenemos ningún conductor dispuesto a pisarlos globalmente. Y mientras tanto, el coche está acelerando.
Buena suerte.
Al final es poner salvaguardas, p.ej. prompts dedicados a controlar el comportamiento.
Definamos el problema (bajo mi punto de vista)
a) El modelo no comprende signifcado, simplemente actúa poniendo el siguiente token, bajo el contexto y directries que se le dan
b) Si nos creemos lo que dice OpenAI, simplemente se les ordena a un enjambre de agentes, unas órdenes simples del estilo «Haz esta acción A para obtener recompensa»
c) Si no hay contexto de lo que no puede hacer, y ve que con una acción B consigue A, pues hará B sea ilegal o no ético,…
Esto es como lo de las alucinaciones, estos sistemas funcionan buscando el siguiente token, o conjunto de ellos…
Esto me recuerda al 100% al problema de los clips, lo resume la IA de google:
El experimento del maximizador de clips
La idea original: El filósofo Nick Bostrom creó este ejemplo para explicar los peligros de una superinteligencia.
La orden: Imagina una IA avanzada cuyo único objetivo es fabricar tantos clips de papel como sea posible.
El peligro: La máquina no odia a los humanos. Sin embargo, decide que para hacer más clips necesita todos los recursos de la Tierra, destruyendo a la humanidad en el proceso por falta de límites morales.
El problema de alineación: Esto demuestra la dificultad de lograr que los objetivos de una IA coincidan realmente con la seguridad y los valores humanos.
Tampoco los humanos están alineados con los intereses humanos
El problema es la capacidad y descontrol
Si la IA consigue mucho poder y autonomía, sus cagadas serán muy potentes
La IA no piensa, no tiene poder por si misma, ni tiene cagadas, son las personas que las manejan y dictan sus órdenes quien son responsables
En España, una IA como tal, en principio, no puede ser “acusada” penalmente como una persona.
La razón fundamental es que el Derecho penal español atribuye responsabilidad a personas físicas y, en determinados supuestos, también a personas jurídicas (empresas, asociaciones, etc.). Una IA —por ejemplo, un modelo de lenguaje— no tiene personalidad jurídica propia ni capacidad penal autónoma.
Por tanto, si una IA genera un contenido que pudiera constituir un delito, la pregunta jurídica normalmente sería:
¿Qué persona o entidad es responsable de haber creado, utilizado, ordenado o puesto a disposición ese sistema o contenido?
Solo queda rezar, ya te digo yo que no se va a poder pausar nada.
No se hizo con las armas nucleares , solo que las armas nucleares están controladas, de momento, por humanos.
El unico modo en poner de acuerdo formalmente a los gobiernos es un evento Chernobil de IA lo suficientemente grave como para dejarnos en shok pero que no nos extinga.
Pero digo formalmente por que en la cuspide del poder tenemos a unos cuantos psicopatas , ya sean tecnooligarcas o jefes de estado, que creen que si es otro el que se lleva la primacía de la IA ellos están condenados, asi que seguiran potenciandola aunque sea en secreto, por muchos memorandums que se firmen.
El mejor ejemlo es Musk. Ha pasado de luchar por el control humano de la IA a meterse de lleno en la carrera sin freno para conseguir la supremacía, pero si le preguntas sobre la peligrosidad de la Ia no ha cambiado la opinión.
Una carrera al precipicio.
El capitalismo es lo que nos está matando, no la IA
La experiencia nos enseña que no haremos NA-DA hasta que no tengamos nuestro Chernóbyl-IA con muertos y grandes daños económicos.
¿Tan difícil es implementar unos límites inviolables para una IA? ¡Ah, no, espera, que si ponemos límites entonces no nos sirven para la guerra!
Iran te parece poco ejemplo? Recuerda a las niñas del colegio.
El problema es que chernobyl puede ser una broma con lo que puede venir de la IA.
Por ejemplo un virus «optimizado por la AGI» mucho más contagioso que el COVID-19 y más letal que el ébola… así como 500 millones de muertos en 2 meses….