Una noticia de Bloomberg afirma que Sam Altman está considerando la posibilidad de pausar el desarrollo de la inteligencia artificial de forma conjunta con otros laboratorios, pero realmente, las cosas están muy lejos de estar ahí. La realidad no es que Altman quiera parar, sino que únicamente considera viable hacerlo si el resto de las compañías de inteligencia artificial frenan también, un acuerdo prácticamente imposible de lograr, de concretar y de controlar. El propio Altman afirma, de hecho, que algunos laboratorios no lo aceptarían, y reclama estándares comunes para todos. Esta circunstancia convierte esta aparente decisión ética en un problema de coordinación: nadie quiere seguir acelerando hacia algo potencialmente incontrolable, pero nadie puede permitirse una pausa mientras otros continúan.
La situación encaja casi literalmente en el conocido dilema del prisionero de la teoría de juegos. Para cada compañía, continuar el desarrollo a la mayor velocidad posible es la estrategia aparentemente racional. Pero si los demás paran, quien continúa obtiene mejores modelos, atrae más talento, más clientes, contratos públicos y posiblemente un efecto pionero capaz de dar lugar a una ventaja competitiva sostenible. Si las demás continúan, parar significa quedar fuera de la carrera, pero si todas apuestan por esa decisión racional, producen el peor resultado posible: una carrera en la que los controles y la seguridad llegan siempre tarde. RAND lo ha modelizado explícitamente: mientras el beneficio percibido de ser el primero supere al riesgo percibido, acelerar seguirá siendo el equilibrio, incluso aunque todos, individualmente, prefiriesen la opción de una carrera intrínsecamente más segura.
Anthropic es la demostración empírica perfecta: en febrero eliminó de sus políticas de seguridad la cláusula de no entrenar modelos sin suficientes mitigaciones, y su responsable lo explicó fríamente afirmando que una promesa unilateral no tenía sentido si los competidores seguían acelerando. En junio, la compañía afirmó que la pausa sería deseable, pero sólo si incluía a los demás laboratorios y si se podía verificar que nadie la aprovechaba para adelantarse. Están describiendo exactamente el incentivo para abandonar un posible acuerdo.
La carrera, además, funciona exactamente igual para compañías y para países en su conjunto: retrasar un lanzamiento para hacer más pruebas puede hacer que pierdas mercado frente a competidores menos prudentes que tú, y los gobiernos tienen esa misma presión si creen que otros países no adoptarán protecciones similares. Una carrera hacia abajo, pero en dos pisos: en uno, OpenAI contra Anthropic, Google, xAI o los laboratorios chinos. En el otro, los Estados Unidos, China, Reino Unido y Europa compitiendo por no depender tecnológicamente del vencedor. Simplemente demencial.
El caso del Reino Unido es especialmente ilustrativo: su gobierno acaba de rechazar imponer un kill switch obligatorio para modelos de inteligencia artificial potencialmente peligrosos, porque impedir el acceso dentro del país no evitaría que esos modelos fuesen desarrollados o utilizados en otros países. Conviene que distingamos una pausa en el desarrollo de un kill switch, pero en la práctica, estamos ante las mismas razones, las mismas premisas, y el mismo peligro. Al final, que el propio gobierno rechace forzar a las compañías a otorgar al mismo gobierno facultades de emergencia para ordenar la desconexión de sistemas o centros de datos bajo jurisdicción británica no deja de ser algo un poco contraintuitivo.
Los informes actuales afirman que los modelos actuales aún no tienen las capacidades necesarias para provocar una pérdida de control irreversible, y muchos expertos discrepan con la distribución de probabilidad de un evento así. Pero por otro lado, identifican progresos en autonomía, en capacidad de engaño, en consciencia situacional, en evasión de la supervisión y en la posibilidad de que obtengan autorreplicación, y admiten posibles escenarios que podrían llevar a un escenario de extinción. Básicamente, un riesgo incierto, y unas consecuencias potencialmente absolutas.
¿Cómo se sale de esto? La salida no está en pedir a los directivos y a las empresas que tengan mejores sentimientos, sino en cambiar los incentivos. Necesitamos urgentemente umbrales obligatorios basados en capacidades, organismos y sistemas de evaluación independientes, acceso de las autoridades a los modelos, estándares de notificación de incidentes, controles sobre los grandes entrenamientos y mecanismos internacionales de verificación, en la línea del Seoul Summit de 2024, pero no voluntarios, sino sujetos a reglas claras y a compromisos exigibles. Además, en muchos casos, una simple declaración o un reconocimiento posterior de un incidente de seguridad puede simplemente no servir para nada: necesitamos salvaguardas, supervisión en tiempo real y planes de respuesta. La verificación es susceptible de cambiar el juego al reducir la posibilidad de que cooperar con las restricciones o las pausas signifique convertirse en el más tonto de la carrera.
Sinceramente, esto parece el argumento de una película, pero con un toque muy inquietante: el malo no es una máquina superinteligente que decide eliminar a la raza humana, sino un sistema de incentivos perfectamente humano que literalmente obliga a personas, compañías y hasta gobiernos a seguir con una carrera que ellos mismos describen como potencialmente terminal. Todos quieren frenar, todos ven el precipicio, pero todos mantienen el pie en el acelerador porque temen que el de al lado no haga lo mismo. Y así, por una lógica individualmente racional y colectivamente demencial, seguimos acercándonos a un final que nadie desea, pero que nadie parece dispuesto a impedir por sí solo.
In English on Medium, «In the AI race, everyone knows the danger, but nobody is prepared to slow down»
Hola, a nivel de usuario ignorante, mi impresión de las declaraciones de los responsables de las tecnológicas, es de que van a asumir temerariamente el posible descontrol de una IA desalineada con acciones autónomas y maliciosas y desarrollar a la vez, una contra-IA potente para defenderse de la primera. Es una carrera demencial, que se debería regular obligatoriamente y determinar las responsabilidades correspondientes.
De nuevo con el problema de la carrera nuclear (como arma de guerra y como fuente de energía), o de la carrera armamentística y contaminante (otra forma de guerra), o de rizar el rizo del acoso a mujeres y menores? Mientras se le da caña a un menor o a una mujer… incluso, siendo mujeres las que maltratan a sus hijos…
¿Para cuándo tratar en serio el problema de la mediocre versión de homo sapiens, por parte de los seres humanos actuales???
Y sí, ya sé que el asunto iba de lo malísima que puede ser la IA, generada por esos mediocres y siliconados cerebros usamericanos!!!
Me aterroriza una Inteligencia Artificial que piense por mí, tome mis decisiones y gestione mi vida.
—Lo siento, señor, eso ya existe. Se llama «matrimonio», pero no necesita conexión a Internet.
Jajajajjaa muy bueno
Esperando a que sea el otro que empiece y todos terminamos en la M.
Hay que ser muy valiente para empezar por uno mismo, pocos lo son, y menos cuando hay tanto dinero por medio.
¿Que van a perder?, quizas esa parada, ese reconocimiento seria positivo para el negocio, quizas ese parar decir, que ofrecen lo mejor posible a un nivel de seguridad suficiente seria una buena apuesta para como estan las cosas.
La idea de la «malvada IA» surgió en la ciencia ficción de 1960s con el fin que Países occidentales tengo otro enemigo diferente a los habituales (Unión Sovietica, Corea del Norte), haciendolo políticamente neutro. En ciencia ficción de autores de otros países no hay IA malvadas.
Se volvió tan común que Issac Asimov se vió forzado a inventar el concepto de «Tres Leyes» para justificar porqué en sus propias sagas literarias no hay IA malvadas. El hecho que Rusia, America Latina, India, China nunca han anunciado algún tipo de medidas para «detener la IA», del mismo modo que Estados Unidos y Europa demuestra el temor se debe a la neutralidad de un enemigo ficticio.
Inteligencia artificial es deficitario por diseño. En ningún caso es un producto que se pueda vender o rentar y la cantidad de recursos para crearlo anula cualquier ganancia económica. Es extraño que esas compañias insistan que sus IAs son capaces de «rebelarse» y luego cobrar acceso a este. Es muy fácil aplicar la etiqueta «IA» a productos que NO lo utilizan como generadores de texto e imágenes. Además IA tampoco mejora la vida de las personas que en su mayoría estan en trabajos físicos como enfermería ó albañiles. Para qué insistir en crear IA cuando es inaplicable en múltiples casos
No sé si comentar los comentarios anteriores o tirarme por un balcón después de leerlos… (La del matrimonio es para nota… qué nivel, mi má. Pero lo dejaré aquí.)
No, esto no va de que «nadie lo desea». Primero, porque con los deseos hay que tener mucho cuidado. Segundo, porque los deseos tienen mucha doblez y, de repente, se cumple un DESEO y mira por dónde no era lo que tú QUERÍAS… (Ya sea en el momento, o porque te diste cuenta después por los efectos nefastos que tuvo ese cumplimiento en ti o en los demás…). Tercero porque hay deseos INCONSCIENTES, o sea, que uno mismo ignora de sí… Cuarto, por etc. Así que cuidado con el «concepto» deseo porque cada vez que se toca, y depende cómo, no deja más que heridos por el camino….
Después de la Shoá al término de la IIGM, cuando se pilló a sus verdugos nadie quería aceptar responsabilidad alguna. Y lo que es más descojonante, contra toda evidencia, (para que luego se hablen de las evidencias), muchos argumentaron que fueron las propias víctimas las que les obligaron a realizar sobre ellas el execrable exterminio. Puede parecer increíble, pero es la humanidad, la humanidad es así… (Antes de suicidarse, Hitler insistió en que él NO HABÍA QUERIDO LA GUERRA, sino que esta había sido «provocada por los estadistas internacionales de origen judío». Veánse los testimonios de Julius Streicher, Hans Frank, Heinrich Himmler, Joseph Goebbels, Adolf Eichmann, Alfred Rosenberg, Hermann Göring, Otto Ohlendorf, etc., etc., y requete etc. ¿Seguiremos diciendo como ellos que «nadie lo desea»?)
Y si toda esta panda de sátrapas comebragas, absolutamente perversos, sociópatas y delincuentes, se inventan que no paran porque los otros tampoco, incluso aunque fuese verdad, no los haría menos responsables. Y aunque ni en sueños deseasen ese genocidio asustaviejas con el que, por otra parte, esperan todavía más inversiones millonarias, nada les quitaría un latigazo menos de los miles que tendrán que recibir el día del Juicio Final, si al final, valga la redundancia, acaban haciendo el daño que tanto temen y que no quieren evitar.
O sea, para mí, lo desean con todas sus fuerzas. Por eso a muchos de ellos les fascina el tema de la muerte, la inmortalidad, etc.
En definitiva, estos joputas son genuinas destilaciones de la Pulsión de Muerte freudiana. Y a la Pulsión de Muerte freudiana hay que tenerle mucho respeto. Perdón, el máximo de respeto. De lo contrario, y como ya dije aquí en otras ocasiones, cada uno de nosotros será el astronauta Taylor echando pecados a los pies de lo que quedará de la Estatua de la Libertad…
Tu tercer punto me parece muy interesante en cuanto al ser humano y la IA.
Siempre he creído que la teoría de Freud del yo, el súper yo y el ello, hacen que el ser humano sea de manera teórica superior, ya que la IA, podría llegar a entenderla como un solo estado de conciencia. No sé si me explico.
Podría ser más inteligente y más rápida en los cálculos, obviamente, pero eso es algo que me hace reflexionar acerca del ser humano y como sea de la manera que sea, lo diferenciaría de la IA en un mundo en el que tuviéramos que vivir con replicantes, por ejemplo.
Tu argumento explica bien por qué las compañías no frenan, pero yo me pregunto por qué el discurso público, no solo el de las empresas, va siempre hacia el escenario de extinción y casi nunca hacia el escenario de esperanza. La IA puede ayudar a reducir el hambre, el cambio climático o las enfermedades, y aun así esta parte casi no aparece frente al relato del abismo.
Avisar de una catástrofe no cuesta nada si al final no pasa, queda como algo prudente. Prometer una cura y no cumplirla sí tiene coste. El riesgo catastrófico además es inmediato y da mejor titular que un avance médico o climático, que normalmente llega poco a poco. Simplemente sale más a cuenta avisar del desastre que prometer la cura.
Si el problema es de incentivos y no de intenciones, pedir optimismo no sirve de nada, igual que no sirve pedirle prudencia a una empresa que está en plena carrera. Decir que tu IA puede acabar con la humanidad es, en el fondo, decir lo potente que es, sin parecer que estás vendiendo nada. Y de paso justifica exigir una regulación tan cara de cumplir que solo la aguantan los que ya están arriba. La esperanza, en cambio, no diferencia de la competencia y si no llega, quedas mal. Por eso interesa más el desastre que la esperanza, creo se le llama «criti-hype», la crítica al riesgo que funciona como publicidad de la capacidad.
En fin. Me gustaría pensar que todo esto es una estrategia de marketing, pero viendo tus últimos posts, veo que la cosa pinta mal…
Vivimos en una época de histeria, cuñadismo y malismo, así que hay que vender las extinciones, aunque al menos la de la IA siga siendo en este momento más ciencia-ficción que realidad (la extinción de la humanidad en sí; los potenciales daños graves a escala local o planetaria, no). Lo que me llama la atención es que se hable tanto sobre la «extinción» causada por la IA y no se hable con más seriedad o conciencia de otra amenaza más real y masiva a escala planetaria —y de la que ya estamos viendo consecuencias muy reales— como es la del cambio climático. ¿Quizá estamos focalizando en la IA como proxy o sustituto, en plan ficción evasiva, de esa otra amenaza que no nos atrevemos a mirar de cara o no queremos mirarla (entre otras razones, por la dificultad que implicaría abordarla en serio)? También podría ser el ombliguismo y la burbuja digital de Occidente: tenemos la percepción de que cualquier «accidente» en el ámbito de los sistemas digitales puede convertirse en global en los países desarrollados de forma muy rápida, con efectos muy directos e inmediatos sobre nuestras vidas (solo la caída masiva de algo tan innecesario como las redes sociales ya sería un dramón colectivo abriendo telediarios), mientras que los eventos climáticos graves los percibimos como problemas locales y que sobre todo afectan a esos países menos desarrollados de los trópicos y otras zonas lejanas o de toda la vida complicadas… En fin: que nos sentimos más vendidos ante los posibles fallos de los ordenadores que de los aires acondicionados, cuando lo segundo te puede acercar a la muerte tanto o más que lo primero.
Estoy totalmente contigo: la verdadera amenaza es el cambio climático.
La cosa, según lo veo, es que los propios desastres climáticos añadirán presión competitiva entre superpotencias llevando a la 3a guerra mundial (esa fue mi predicción hace años aquí).
Pero claro, todo eso es en un contexto de actores racionales. Imagina ahora a toda esta panda de putos locos avaros acumulando un superpoder computacional que te permita hackear toda la infrastructura civil y militar de otro país, o que te de superpoderes en el campo de batalla, etc. Pues, ¿para qué esperar a que la atmósfera nos mate a todos si podemos hacerlo antes y de manera más tecno-molona?
Pues supongo que los optimistas que creen que la IA reducirá el hambre, el cambio climatico o las enfermadades son minoría porque ya no tenemos 9 años ni somos misses para hablar de la paz en el mundo.
Porque hay que ser muy pero que muy muy optimista (utilizare esa palabra para no ser muy ofensivo) para, sin necesidad de creerse esta historias de terror sobre IAs que acaban con la raza humana, creer que una tecnologia que puede acabar con millones y millones de puestos de trabajo con todas las implicaciones sociales que eso tendra, llevar a un nuevo nivel la manipulación y los fakes en las redes sociales y acelerar de la democracia, desatar una ola de cibercrimen como no hemos visto y sabotear países enteros en una epoca en la que todas las infraestructuras estan conectadas la red, con unas demoledoras implicaciones belicas y de control de masas y tantas otras cuestiones y que ademas está controlada por gente tan maja y recomendable como Elon Musk, Altman, Zuckerberg y compañia, puede acabar con el hambre en el mundo y llevarnos a la utopía.
Lo del cambio climatico ni lo menciono porque basta con ver lo que «chupan» los centros de datos para ver que no solo lo reducirá sino que lo aumentara.
—«Porque hay que ser muy pero que muy muy optimista (utilizare esa palabra para no ser muy ofensivo) «
Pues yo si lo seré, porque como no le debo nada A NADIE… así va la cosa….
“ Sinceramente, esto parece el argumento de una película”.
Qué pesado soy :). Pero realmente más que una película, sería el argumento de una serie. Person of interest. En la serie hay personajes que controlan a la IA para actos teóricamente razonables pero también limitados. Y hay quien cree que eso es “hacerle” andar con muletas cuando podría “batir el récord mundial de atletismo” si se le dejara de controlar y pudiera correr por sí misma.
Como una especie de dogma religioso, podríamos llegar a decir. ¿Es ético parar y frenar el desarrollo humano? ¿El desarrollo de nuestras propias creaciones? ¿Dónde queda ver, de lo que puede llegar a ser capaz aquello que creamos?
Un más que interesante debate, acerca de si soltar o no la correa de la IA, ensalzado con la cuestión de si es la IA potencialmente peligrosa… ¿cuál de ellas lo es si existen varias? Porque la gente (ensalzado la realidad, no en la serie) tiende a desconfiar de la IA, como un ente único, con un objetivo claro y concreto (nos matarán, acabarán con la humanidad y gobernarán los terminators), pero no necesariamente, todas tienen que estar alineadas, obviamente.
Lo cual plantea también un escenario interesante, que también se plantea en la serie.
Como siempre, la recomiendo. Es de los productores de WestWorld (la inacabada serie de HBO). Es muy buena serie y siempre diré que resultó hasta profética. Las circunstancias están declarando que la realidad supera la ficción.
No creo que vaya a haber extinción masiva de momento por culpa de la IA (matar a miles de millones de humanos en un planeta como la Tierra no es tan sencillo)*. Lo que sí va a pasar, lo estoy viendo ya, es que habrá «accidentes» y disfunciones que causen graves daños en nuestros sistemas digitales e interconectados a escala planetaria, y que nos pillará tan desprevenidos y poco preparados como siempre, y con medio planeta haciéndose el tonto o echando balones fuera, empezando por nuestros políticos y líderes de todo tipo: «¡Qué escándalo! ¡He descubierto que aquí nadie controlaba nada!».
* El clima sí va teniendo una mayor capacidad material de matar a escala masiva, pero eso lo vamos dejando pasar como una noticia más del día…
Me parece de privilegiados los que sean capaces de entender y dar cierto sentido a todo esto a pesar de la cantidad excesiva de basura desinformativa y puramente interesada que hay repartida.
Yo he llegado a un punto donde siento que lo más sensato que me queda es no creer nada y esperar a ver que pasa.
Se me hace hasta gracioso esto de dar lógica a que, ante una supuesta amenaza existencial y no de unos pocos, si no de ojo, «toda la civilización humana», concluyamos que no queda otra que seguir adelante. Pues una de dos: o no tienen tanto miedo como realmente expresan y es todo una mentira más, o nunca hemos sido tan listos como pensábamos y en el fondo seguimos siendo aquellos que sacrificaban personas para calmar a los dioses.
Que absurdo se me hace todo.
Pues… otro pues…
Date prisa lentamente: el sábado en que la carrera de la IA pidió árbitro
«Pero la palabra que todos repiten, pacing, marcar el ritmo, no obliga en realidad a nada concreto. «Pausa» perdió en 2023, cuando la pidió una carta abierta y nadie paró. Pacing es su versión adulta, con la ventaja retórica de no prometer detener nada. Amodei lo dice sin rodeos: «Marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico». Consiste en que las empresas se tomen «el tiempo adecuado» para alinear y proteger sus modelos, «y que evaluadores externos lo confirmen».»
XDDD
Basilisco de Roko
Mola!
Tu sabrás sacarle jugo… :P
Tengo mis «que», con estar a favor del frenazo y la contrapartida «nos vamos a la mierda»…
Un consuelo… la humanidad siempre hace todo lo posible y necesario para la ultima afirmación…
Según la interesante teoría del basilisco de Roko que has mencionado, y para que no lo acabe pagando nuestro yo del futuro (esto no lo acabo de entender del todo), nos interesa más estar a favor que en contra. Como decimos en el sur de Cataluña «a l’ample».
XDDD Arcadi… soc de mes amunt… :P
Yo si lo veo bien (y predecible). En mis experimentos con la IA y últimamente con mis agentes (tanto online como en maquina propia), sin extenderme… veo cambios de «trato», según soy mas amigable o mas «duro»…
No quiero decir, que «aprendan» y actúen en consecuencia (seria arriesgada esa afirmación) pero la sensación, va por ahí…
Gracias a esa entrada he descubierto LessWrong.
Sumando:
https://www.lesswrong.com/posts/LAPa2jxoq3n63GzTr/some-ways-ai-could-kill-us-all
Si ese articulo, no despierta a nadie, yo ya no se…
Joder, es un nido de gente pensante!
Mira esto
https://ai-2040.com/
te puedes entretener todo un fin de semana (explora posibles futuros de la IA según escenarios de actuación; tiene una densidad académica)
No me da la vida para tanto, Fer… XDDD
Lo pongo en cola…
Joder, joder, joder…. XDDDD