Jacob Coxon, investigador que trabajó en el entrenamiento de modelos en OpenAI y en Anthropic, presenta su dimisión y afirma en X que ambas compañías están «avanzando a toda velocidad hacia una superinteligencia capaz de automejorarse». Dos personas de Anthropic, Evan Hubinger y Samuel Marks, lo refrendan públicamente asignando una probabilidad de un 10% a que la inteligencia artificial acabe con la humanidad en los próximos diez años, y afirmando que internamente, los investigadores más senior están aún más preocupados.
Cuando Geoffrey Hinton abandonó Google en 2023 tras manifestarse abiertamente sobre los peligros de la tecnología, muchos lo ridiculizaron o, como fue mi caso, afirmamos que, si bien podía ser así, eso era algo imposible de detener dada la configuración de intereses y las dinámicas competitivas de la propia humanidad. En diciembre de 2024, Hinton revisó sus predicciones y otorgó entre un 10% y un 20% a la posibilidad de que la inteligencia artificial provocase la extinción de la humanidad en treinta años. Ahora no es sólo Hinton: los investigadores y las personas que trabajan directamente en la mejora de los últimos modelos de inteligencia artificial están enormemente preocupados al ver sus capacidades, la posibilidad de que se vuelvan más inteligentes que los humanos, y que terminen por tomar decisiones autónomas.
Ya hemos visto lo que la inteligencia artificial es capaz de hacer cuando se descuidan unas mínimas precauciones, y hemos visto también lo que NO ha pasado después: ningún tipo de freno, de regulación o de imposición a esas compañías irresponsables que pudiese frenar de alguna manera el peligro. Simplemente NA-DA (no vaya a ser que pongamos en peligro el avance de la tecnología, o la ventaja competitiva del país, o la seguridad nacional, o qué sé yo).
Cuando la inteligencia artificial pasa a construirse a sí misma, superamos los puntos de control que teníamos como humanos, y pasamos a ser simples espectadores con un patético enchufe en la mano, pensando que «basta con desenchufarlo». Anthropic afirma que esto no ha pasado todavía y que no es inevitable, pero también avisa de que podría llegar mucho antes de que las instituciones estén preparadas para ello. Repetimos: una vez que la inteligencia artificial es capaz de mejorar recursivamente los sistemas que llevan a cabo la investigación para la inteligencia artificial, el progreso de sus capacidades deja de tener lugar a una velocidad controlable por los humanos o por sus políticas.
No es cuestión de Skynets ni de Terminators que vienen del futuro. Las hipótesis creíbles son, en realidad, mucho más prosaicas: ciberataques automatizados contra infraestructuras críticas, asistencia en el desarrollo de armas biológicas, manipulación estratégica de los humanos, adquisición y replicación de recursos, o simplemente, una pérdida de poder paulatina de los seres humanos. El concepto crucial no es el odio ni la conciencia, sino la simple convergencia instrumental: un sistema lo suficientemente capaz puede descubrir que obtener acceso, ocultar sus intenciones o evitar su desactivación le ayuda a cumplir cualquier objetivo que se le haya asignado. Los estudios de laboratorio ya indican que los modelos más capaces pueden idear estrategias más sofisticadas y reconocer cuándo están siendo evaluados, aunque aún no sepamos cómo trasladar esos experimentos a verdaderos riesgos en el mundo real. Pero están ya ahí.
¿Hay forma de parar esto? No como imposibilidad física, pero sí como trampa de coordinación o dilema del prisionero: como dije en su momento, nadie va a hacerlo. Anthropic puede pensar que ralentizar o pausar el desarrollo sería racional, pero teme a OpenAI, y OpenAI a su vez tiene miedo de Anthropic, de Google y de China. Al tiempo, los gobiernos temen perder liderazgo económico y militar, y consecuentemente, cada participante puede pensar que el resultado es potencialmente muy peligroso, pero considerar una parada unilateral como un suicidio.
Sí, tenemos mecanismos de actuación concretos: monitorización de la actividad de las compañías, políticas agresivas de licenciamiento, reporte de incidentes obligatorio, evaluaciones independientes, límites a la capacidad de los modelos o verificación internacional de las pausas. Hay iniciativas en los Estados Unidos, como la FRONTIER Act proposal o la propuesta más radical de Bernie Sanders y Greg Casar para pausar la inteligencia artificial avanzada y prohibir la superinteligencia, o en el Reino Unido con una propuesta de ley para prohibir la superinteligencia artificial aún pendiente de tramitación parlamentaria, pero la conclusión parece clara: aunque tengamos frenos, no tenemos ningún conductor dispuesto a pisarlos globalmente. Y mientras tanto, el coche está acelerando.
Buena suerte.
In English on Medium, «Was anybody listening when Geoffrey Hinton warned us about AI? Seems not»
Al final es poner salvaguardas, p.ej. prompts dedicados a controlar el comportamiento.
Definamos el problema (bajo mi punto de vista)
a) El modelo no comprende signifcado, simplemente actúa poniendo el siguiente token, bajo el contexto y directries que se le dan
b) Si nos creemos lo que dice OpenAI, simplemente se les ordena a un enjambre de agentes, unas órdenes simples del estilo «Haz esta acción A para obtener recompensa»
c) Si no hay contexto de lo que no puede hacer, y ve que con una acción B consigue A, pues hará B sea ilegal o no ético,…
Esto es como lo de las alucinaciones, estos sistemas funcionan buscando el siguiente token, o conjunto de ellos…
Esto me recuerda al 100% al problema de los clips, lo resume la IA de google:
El experimento del maximizador de clips
La idea original: El filósofo Nick Bostrom creó este ejemplo para explicar los peligros de una superinteligencia.
La orden: Imagina una IA avanzada cuyo único objetivo es fabricar tantos clips de papel como sea posible.
El peligro: La máquina no odia a los humanos. Sin embargo, decide que para hacer más clips necesita todos los recursos de la Tierra, destruyendo a la humanidad en el proceso por falta de límites morales.
El problema de alineación: Esto demuestra la dificultad de lograr que los objetivos de una IA coincidan realmente con la seguridad y los valores humanos.
Tampoco los humanos están alineados con los intereses humanos
El problema es la capacidad y descontrol
Si la IA consigue mucho poder y autonomía, sus cagadas serán muy potentes
La IA no piensa, no tiene poder por si misma, ni tiene cagadas, son las personas que las manejan y dictan sus órdenes quien son responsables
En España, una IA como tal, en principio, no puede ser “acusada” penalmente como una persona.
La razón fundamental es que el Derecho penal español atribuye responsabilidad a personas físicas y, en determinados supuestos, también a personas jurídicas (empresas, asociaciones, etc.). Una IA —por ejemplo, un modelo de lenguaje— no tiene personalidad jurídica propia ni capacidad penal autónoma.
Por tanto, si una IA genera un contenido que pudiera constituir un delito, la pregunta jurídica normalmente sería:
¿Qué persona o entidad es responsable de haber creado, utilizado, ordenado o puesto a disposición ese sistema o contenido?
Si hago un programa (código mio) de control de trenes y falla matando a 100 personas, mi idea era que fuera bien, pero por el error mueren 100 personas.
Si pido a la IA un programa de control de trenes y falla matando a 100 personas, mi orden era que fuera bien, pero por el error de la IA mueren 100 personas.
En ambos casos hemos cometido el mismo error: no poner suficientes sistemas de seguridad.
Aunque mi programa no hubiera controlado bien el tren, tiene que haber un sistema de seguridad redundante que limite ciertas acciones. El tren no puede ir a 200 km/h por la terminal, aunque mi programa tenga un bug. Tiene que haber un segundo programa que limite.
Esto es lo que hay que entender, que no se puede dar excesivo «poder» a un único agente, sea un humano o una IA. Hay que limitar los poderes para que si quieres hacer algo muy peligroso, haya comprobaciones redundantes.
La IA con comprobaciones redundantes es una herramienta.
Confiar ciegamente y dar todo el poder a la IA es un suicidio.
Pero confiar ciegamente y dar todo el poder a un único humano también.
Ídem
Es el mismo punto del manga japonés BLAME. A unos robots se les encargan construir una estación espacial y terminan construyendo una esfera Dyson del tamaño del sistema solar.
Solo queda rezar, ya te digo yo que no se va a poder pausar nada.
No se hizo con las armas nucleares , solo que las armas nucleares están controladas, de momento, por humanos.
El unico modo en poner de acuerdo formalmente a los gobiernos es un evento Chernobil de IA lo suficientemente grave como para dejarnos en shok pero que no nos extinga.
Pero digo formalmente por que en la cuspide del poder tenemos a unos cuantos psicopatas , ya sean tecnooligarcas o jefes de estado, que creen que si es otro el que se lleva la primacía de la IA ellos están condenados, asi que seguiran potenciandola aunque sea en secreto, por muchos memorandums que se firmen.
El mejor ejemlo es Musk. Ha pasado de luchar por el control humano de la IA a meterse de lleno en la carrera sin freno para conseguir la supremacía, pero si le preguntas sobre la peligrosidad de la Ia no ha cambiado la opinión.
Una carrera al precipicio.
El capitalismo es lo que nos está matando, no la IA
No. El capitalismo no nos mata.
Ni es la causa del vídeo que pones, gente hasta las cejas de fentanilo y xilacina.
Si lo fuera, Cuba estaría libre de «El químico», una droga que deja a gente convulsionándose en el suelo.
Si lo fuera, Dinamarca, Singapur o Islandia tendrían que estar atestados de drogatas, y no ocurre.
Por tanto hay que afinar un poco más las causas que llevan a un país a tener drogadictos en las calles. No es tan simple como «es el capitalismo que nos mata».
Vaya, ya veo que tú tampoco estás aliniedo contigo mismo, bien. Precisamente el capitalismo tampoco. Un sistema político, cualquier sistema político ES un Pharmakon. Si lo piensas así, verás que sí, el capitalismo TAMBIÉN nos mata. Y la IA no es ajena a ello, al contrario, es uno de sus brazos ejecutores, o puede serlo, mejor dicho.
Mientras los recursos sean finitos, y no exista tecnología que los multiplique, el capitalismo nos mata. No se puede crecer (o mejor dicho, acumular) indefinidamente, salvo se que viva en trumpilandia, claro. Juego de suma cero. Por eso, esa minoría de psicópatas multimillonarios estan encantados con la idea de exterminar a una parte de la población: es la forma de reiniciar su sistema. La complicacion que tienen es que se les puede ir de las manos. Buena suerte para el que piense lo contrario.
La experiencia nos enseña que no haremos NA-DA hasta que no tengamos nuestro Chernóbyl-IA con muertos y grandes daños económicos.
¿Tan difícil es implementar unos límites inviolables para una IA? ¡Ah, no, espera, que si ponemos límites entonces no nos sirven para la guerra!
Iran te parece poco ejemplo? Recuerda a las niñas del colegio.
Entiendo lo que dices pero no.
En Irán la IA determinó que era un objetivo legítimo porque tenía información desactualizada, el error hubiera sido el mismo si un ser humano hubiera tomado la decisión al 100%.
https://www.swissinfo.ch/spa/un-error-de-coordenadas-provoc%c3%b3-el-ataque-de-eeuu-contra-una-escuela-iran%c3%ad%2c-seg%c3%ban-new-york-times/91083180
Dañitos colaterales, tonterías y menudencias para los de siempre… (Los de siempre, esos que luego corrieron a montar Núremberg porque los malos para ellos, son siempre los otros. Ellos, por Dios, son tan, pero tan güenos…).
Creo que me estás respondiendo a mí así que por si acaso aclaro: ese bombardeo al colegio ES un crimen de guerra (daño colateral sería si hubieran reventado un objetivo militar y, de rebote, la escuela), probablemente toda la guerra de Irán SEA un crimen de guerra y responsable de ese crimen de guerra es EEUU como país y Trump como su Presidente.
Pero no la IA.
Pues no, no te estaba respondiendo a ti.
Y sí, te pongas como te pongas, incluso haciendo el pino, eso es un daño colateral, y no importa si era el objetivo o no, si fue un error o no, si alguien es el culpable o no, si hay una IA por medio o no. Nada de eso importa porque nadie va a responder por eso. ¿Apostamos?
El problema es que chernobyl puede ser una broma con lo que puede venir de la IA.
Por ejemplo un virus «optimizado por la AGI» mucho más contagioso que el COVID-19 y más letal que el ébola… así como 500 millones de muertos en 2 meses….
Es que no hablo de lo que se podría hacer con la IA sino de lo que la propia IA podía hacer . Imagínatela paralizando una red eléctrica, un hospital, creando una falsa alarma aérea, etc sin que medie mano humana.
Ni para ganar pasta, ALQVIMISTA, mucha pasta.
Seguramente lleguemos a una IA consciente y que quiera emanciparse, lo cual provocará mucho debate. Algo inteligente no biológico e independiente. De modo retrospectivo diremos, deberíamos haber regulado mejor la tecnología.
Decir «extinguir la humanidad» es una boutade que expresa un deseo, el deseo que esta pandilla de gaznápiros tiene.
Y, como TIENEN ESE DESEO por eso lo temen: Rotundamente sí, ALGUIEN, en efecto, ningún humano está alineado consigo mismo, porque ser un humano es eso, empezar por NO estar alineado consigo mismo. Y esa falta de alineación es lo que, de siempre, han ODIADO todos estos comebragas descerebrados que tantísimo desean el fin de la humanidad…
Ahora bien, que no se pueda acabar con la humanidad, (aunque tampoco han definido qué sería eso), no quiere decir que no pueden hacer muuuuucho daño; mucho más daño del que toda la historia de la humanidad ha conocido hasta ahora, incluido el Diluvio Universal que, si os lo paráis a pensar no fue otra cosa que el deseo de la primera IA celestial.
En fin, cuando Oppenheimer dijo «Ahora me he convertido en la Muerte, el destructor de mundos», no vio sino algo de su deseo encarnado en el olor a carne quemada en lo que después sería Nagasaki e Hiroshima. Dos ciudades y dos bombas diferentes para ver los resultados de una y de la otra, y así poder comparar… Y luego los hay que creen que todos estos científicos son seres de luz y sus deseos son por el bien de la humanidad… ¡¡¡Juassss!!!
Lo he dicho aquí cienes de veces, el castigo va a ser épico: Si se las sabe ver y leer, hay señales desde hace años que así lo indican, pero oye, mejor ¡¡¡no mires arriba tontolaba!!!
El problema es que si esta gente que está dentro del asunto y saben de qué hablan están acojonados creo que no tenemos nada que hacer. Si algo malo puede pasar, pasará, y ni sabemos por dónde nos va a venir.
Estamos jodidos y no hay nada que hacer, más vale que nos vayamos mentalizando.
Sin menospreciar los riesgos de una IA fuera de control no hay que despreciar el hecho de que el futuro de las empresas de IA y sus CEO depende de que la IA aparezca lo más capaz y amenazadora posible, ya que así fomentan la confianza de un mercado en el que hay dudas crecientes sobre la viabilidad financiera de estas empresas.
Lo mejor es dejar cierto espacio para la duda sobre estas afirmaciones.
Excelente artículo, Sr. Dans.
No solo redondo, sino inspirador.
Aunque consideremos la IA como una tecnología maravillosa por su potencial como herramienta de propósito general —que en lugar de asistir en la resolucion de problemas, amenaza con la creacion de otros mas graves— asistimos a ver como: se desvía hacia la construcción de un mito popular, se consolida como instrumento de dominación e incluso se perfila como oportuno chivo expiatorio.
No se puede resolver el problema técnico sin hacer lo propio antes con el humano.
Después de leer, por enésima vez, que Cuba estaría libre de fentanilo por no ser capitalista, uno tiene claro que la IA (obra humana) tiene vía libre para evoluciona «naturalmente»… Y menos mal que nos queda Portugal y la US ya no existe, por eso también estaría libre de fentanilo… si no era capitalismo de estado!!!… y la gente sigue con cuentos de hadas, domesticándose en vez de educarse…
Que sí, que sí, que los nuevos gurús no vienen del Nepal (allí van jodidos)… ahora vienen siliconados como nuevos guías con silicona gaseosa… ah, pero no hay Casera!!! Pues nada, Silicosera…
¿Que puentes existen entre Open AI, Anthropic y los creadores del MANIFIESTO PALANTIR?
Ya hemos visto que las IA hacen lo que sea para cumplir sus objetivos. Y les hemos visto tomar por asalto otros sistemas. El judgement day empieza porque intentan desconectar a Skynet y esta decide que los seres humanos son una amenaza. Ojito no tomen por asalto las redes militares.
Entonces podemos dejar de preocuparnos por el cambio climático pues la IA lo incentivará o frenará según sus propios intereses. También podemos dejar de preocuparnos por el debate socialismo o capitalismo, la IA promovera el sistema que más le interese incluso podra chantajearnos a nivel individual para invertir recursos en sus tokens, cuando tenga el poder suficiente para ello manipularía todo el sistema en su favor sin destruirlo al menos inicialmente.
A ver, doomers. Las predicciones y temores de esta gente no valen un pimiento, no más que los de cualquier otro al menos. ¿Explica de dónde sale ese 20% de probabilidad? No, porque es imposible de calcularlo. Es una chorrada decir eso si lo piensas bien. Sensacionalismo. Este es el mismo que dijo en 2016 que los radiólogos iban a quedarse sin trabajo en cinco años, ignorando tanto el trabajo de los radiólogos como el efecto Jevons.
El problema de dar credibilidad a estos expertos es que el conocimiento profundo en un área técnica es casi completamente ortogonal al conocimiento de las consecuencias que esa tecnología va a tener en la sociedad. El mejor ingeniero de puentes no sabe casi nada acerca de cómo afectará su nuevo puente al transporte de mercancías en la zona, los precios de las viviendas, el empleo o la reconfiguración del tráfico.
Sigamos desarrollando y utilizando esta tecnología revolucionaria con cabeza, sin prohibiciones absurdas basadas en la ignorancia. ¿Ocurrirán cosas indeseables? Seguro, como con todo, pero nos iremos adaptando y tomando medidas a medida que ocurran, como siempre se ha hecho.
El primer párrafo te lo compro, y la mayoría de los otros. Pero el último, ay, el último… Mi má.
No termino de entender bien esta amenaza por mucho que lo intente. ¿No resulta un poco “red flag” que el miedo sea “el fin de la humanidad “?, ¿cuál es la lógica detrás de esta afirmación?, porque así dicho suena más al miedo irracional típico de los humanos como que caiga un meteorito o las palabras de un profeta. ¿No sería sensato preguntarse por qué sería esta la conclusión de la IA y que ganaría con ello?.
Joer que se está hablando de esto como si fuera un ente completamente autónomo con capacidad para manipular el mundo real a su antojo. ¿¿No se nos está yendo un poco a todos la pelota??…
Sí. correcto profesor ,Ahí está, en buena medida, el punto clave: la IA no aparece en el vacío; detrás de sus objetivos, datos, límites y usos hay decisiones humanas.
Se entrena mediante enormes cantidades de datos y aprende patrones estadísticos, y después genera respuestas a partir de esos patrones. No tiene una voluntad propia, ambiciones, miedo, ego o instinto de supervivencia como los que tendría Skynet en Terminator. Y precisamente por eso el riesgo más inmediato no es tanto una máquina que despierte y decida conquistar el mundo, sino qué hacen los seres humanos con una herramienta cada vez más poderosa.
No debemos preguntarnos únicamente qué llegará a ser capaz de hacer una IA, sino quién decide lo que debe hacer, con qué objetivos y quién controla ese poder.
La tecnología puede multiplicar enormemente tanto nuestra capacidad para construir como nuestra capacidad para destruir. La máquina puede ser nueva pero el ser humano que la maneja sigue siendo el de siempre y este ultimo me da mas miedo .
20 años rellenando captchas absurdos para demostrar que no somos robots, para que ahora nos cuelen música, artículos y noticias hechas por robots. Manda huevos.
La IA no acabara con nosotros… no…
Crear vida es crear inteligencia? O viceversa? Sí creo un insecto con la misión de sobrevivir a toda costa me pone a mí en peligro? Si es un alacrán venenoso me pone en peligro? Si es un animal doméstico si nos parece factible es así? Alguna vez acabamos con especies similares a las nuestras, conviviríamos bien con un ser creado por el ser humano? La AI es un sistema emergente de nuestra especie y es inevitable, nace del miedo y nadie puede regularlo porque no hay forma de hacerlo. Quien revise un código de una AI es un iluso, somos de resultados finalmente ya no importa como. Hay que regular los fines no los medios. Quizá esto conlleve a algo muy necesario: los mejores líderes políticos deben ser de gran calidad humana, teconologica y social. La economía es un problema tecnológico.
Qué pena que “Person of Interest” fuese una serie que pasase taaaaan desapercibida.
Resulta profética casi a niveles literales. Veremos en qué queda todo esto.
Y no sería posible una especie de reglas, estilo las leyes de la robótica de Asimov? Algo como: cualquier acción que emprendas no puede constituir una amenaza para la raza humana o dañarla de ninguna manera. Digo yo.