Hace poco más de tres años, Geoffrey Hinton abandonó Google y lanzó una advertencia que ocupó titulares en todo el mundo: el desarrollo de la inteligencia artificial avanzaba demasiado deprisa y era necesario plantearse algún tipo de moratoria o pausa para comprender mejor sus riesgos. Escribí entonces sobre ello, porque procedía de una de las personas que más había contribuido a hacer posible esa misma tecnología.
¿Qué ocurrió después? Exactamente lo que cabía esperar: nada. No hubo moratoria. No hubo desaceleración. No hubo ni la más mínima aproximación o posibilidad de ningún consenso internacional al respecto. De hecho, ocurrió justamente lo contrario: la inversión se disparó, aparecieron nuevos modelos, aumentó la competencia entre empresas y países, y la velocidad de desarrollo se aceleró hasta niveles que en aquel momento parecían imposibles.
Ahora es Anthropic quien vuelve a plantear esencialmente la misma cuestión. Según un reciente documento del Anthropic Institute de la compañía, y según las declaraciones de algunos de sus responsables, la posibilidad de una desaceleración global coordinada del desarrollo de la inteligencia artificial sería deseable para ganar tiempo en investigación sobre seguridad, gobernanza y alineamiento. El detonante es la preocupación por la denominada recursive self-improvement, la posibilidad de que los sistemas lleguen a funcionar como máquinas de Gödel y comiencen a mejorar sus propias capacidades con una intervención humana cada vez menor.
La preocupación no es nueva. De hecho, forma parte del ADN intelectual de Anthropic desde su fundación. Dario Amodei lleva años advirtiendo de los riesgos potenciales de los sistemas avanzados de inteligencia artificial, al tiempo que defiende una visión extraordinariamente optimista de sus beneficios potenciales. En su ensayo «Machines of Loving Grace« sostiene que una inteligencia artificial suficientemente avanzada podría acelerar décadas de progreso científico en medicina, biología, desarrollo económico o sostenibilidad, hasta el punto de «comprimir» gran parte de los avances de este siglo en unos pocos años.
Pero precisamente ahí aparece la contradicción fundamental: si uno cree realmente que la inteligencia artificial puede curar enfermedades, acelerar el descubrimiento científico, mejorar la productividad global y generar ventajas económicas sin precedentes, ¿qué incentivos existen para detener su desarrollo?
La cuestión nunca ha sido tecnológica: es económica y geopolítica. Cuando Hinton habló de una pausa, el sector estaba compuesto por un número relativamente reducido de actores. Hoy hablamos de cientos de compañías, miles de investigadores, proyectos abiertos, laboratorios estatales, startups financiadas con miles de millones y gobiernos que consideran la inteligencia artificial un elemento central de su competitividad estratégica.
La historia de la tecnología está llena de llamamientos a la prudencia, pero también está llena de ejemplos en los que la prudencia perdió frente a los incentivos. La energía nuclear pudo ser regulada porque requiere instalaciones gigantescas, materiales escasos y una trazabilidad relativamente sencilla. Las armas biológicas son más difíciles. El software, muchísimo más. La inteligencia artificial se parece mucho más al software que a los reactores nucleares.
De hecho, la propia Anthropic reconoce el principal problema de cualquier hipotética moratoria: verificar su cumplimiento. ¿Cómo comprobar que una empresa, un laboratorio militar o un gobierno no siguen entrenando modelos mientras el resto se detiene? ¿Cómo detectar una carrera clandestina cuando los recursos necesarios para participar en ella son cada vez más accesibles?
La propia compañía utiliza una comparación reveladora: mientras que los silos de misiles pueden localizarse, los entrenamientos de modelos son mucho más fáciles de ocultar. Y, además, quien continúe desarrollando mientras los demás se detienen heredará automáticamente una ventaja competitiva gigantesca.
Ese es precisamente el núcleo del problema. Una pausa sólo funciona si todos paran. Pero para cualquier actor individual, no parar siempre resulta más atractivo que parar. Es el dilema del prisionero aplicado a la inteligencia artificial.
Y cuanto mayor es la recompensa potencial, más difícil resulta alcanzar acuerdos colectivos. Si Amodei tiene razón cuando habla de una futura «nación de genios en un centro de datos», capaz de generar descubrimientos científicos, ventajas militares o crecimiento económico extraordinario, entonces la tentación de seguir adelante será prácticamente irresistible.
Por eso estas llamadas a la pausa generan una sensación extraña. Son intelectualmente interesantes, incluso necesarias. Nos obligan a discutir riesgos que muchos prefieren ignorar. Introducen cuestiones de gobernanza que claramente no estamos abordando con suficiente profundidad. Y contribuyen a que la conversación pública no se limite a la próxima funcionalidad espectacular o al próximo récord en un benchmark. Pero como propuesta práctica tienen muy pocas posibilidades de prosperar.
La razón es sencilla: los actores que construyen inteligencia artificial compiten entre sí, pero también compiten países enteros. Estados Unidos compite con China. China compite con Estados Unidos. Europa intenta no quedarse completamente fuera de juego. India, Emiratos Árabes, Arabia Saudí y muchos otros países están invirtiendo cantidades enormes para desarrollar capacidades propias. En ese contexto, pedir una pausa global equivale a pedir un nivel de confianza internacional que ni siquiera existe en ámbitos mucho más maduros y regulados.
Lo que sí puede tener sentido no es detener el desarrollo, sino aumentar radicalmente la transparencia sobre él. Exigir auditorías independientes. Desarrollar estándares de seguridad verificables. Crear mecanismos de supervisión internacional. Obligar a divulgar capacidades y riesgos de los modelos más avanzados. Financiar investigación en alineamiento y seguridad a una escala comparable a la inversión destinada a mejorar prestaciones. Eso es difícil, pero resulta infinitamente más realista que imaginar una parada coordinada del progreso tecnológico.
Quizá la verdadera utilidad de estos llamamientos no sea conseguir la moratoria que proponen, sino recordarnos una realidad incómoda: que estamos en plena adolescencia de la tecnología, construyendo algo cuyo impacto potencial podría ser enorme mientras nuestras instituciones siguen funcionando a velocidad burocrática. Y además, compitiendo en lugar de colaborar.
Hinton intentó provocar esa conversación. Nadie le hizo demasiado caso. Ahora Anthropic vuelve a intentarlo. Probablemente tampoco consiga detener nada. Pero eso no significa necesariamente que esté equivocada.
This article is also available in English on my Medium page, «Anthropic says it wants to slow down AI. Here’s why it won’t happen.«
Creo que esta frase del penúltimo párrafo resume muy bien el quid de la cuestión.
Competir puede tener sentido cuando hablamos de mercados convencionales o de recursos escasos. Pero en el caso de la inteligencia artificial avanzada, donde los beneficios potenciales podrían ser enormes para todos (en ciencia, medicina, productividad, educación o sostenibilidad), la colaboración parece mucho más racional.
Pero claro, el problema es que para colaborar de verdad hay que confiar en el adversario. Y ahí aparece la trampa: si todos se detienen menos uno, ese uno obtiene una ventaja gigantesca. Por eso la pausa global parece deseable en abstracto, pero casi imposible en la práctica.
Quizá la cuestión no sea tanto «pausar» como construir mecanismos verificables de transparencia, auditoría y seguridad. Menos fe en la buena voluntad de los competidores y más estructuras que hagan la colaboración mínimamente creíble.
Es utópico, Las compañías que exploran la AI estan compitiendo en una carrera de Maratón donde el premio muy probablemente solo llegue para los tres primeros que suban a podio.
¿Crees que tendria exito decir a los corredores de Maratón, «bajar todos el ritmo, que corremos el riesgo de te arminar echando los higadillos»? El que se ha embarcado en esta aventura, no ve mas que la posibilidad de subirse al podio, aunque muchos se dejen la vida en el intento.
Se está construyendo algo que podría tener un impacto potencial enorme, mientras las instituciones van a velocidad burocrática… y mientras nuestros cerebros siguen siendo los mismos que hace dos mil años.
Por naturaleza yo diría que aquí nadie va a parar hasta que se sienta realmente amenazado y, teniendo en cuenta que estos avances están siendo liderados en muchos casos por sociopatas… hasta que no pase algo gordo de verdad aquí nadie va a mover un dedo.
El reciente vídeo publicado por Cold Fusión en YouTube realmente me ha dejado tocado. Lo de Palantir debería tener a medio mundo en alerta roja.
Como acertadamente publicó anteriormente @EDans, cuando hablamos de Inteligencia Artificial, estamos hablando de Poder. Todo debate adicional, se sitúa en segundo plano.
Para redirigir o redefinir el objetivo principal de la tecnología, primero hay que reformar las instituciones y el derecho internacional. Dado este paso inicial, se abrirá un espacio para que se asienten las bases necesarias para reformas políticas, económicas y sociales. Fuera de ese marco, la inteligencia artificial seguirá siendo un instrumento al servicio del sistema de intereses particulares vigente.
Y aunque China no puede librarse del dilema del prisionero a escala global, a nivel nacional da un nuevo paso adelante con AI + Education. Mientras tanto, los actores tecnológicos del imperio siguen su competencia frenética, derrochando recursos, en aras de conseguir la supremacía económica y política en su esfera de influencia, dando la espalda a su sociedad.
El dilema es mas bien este:
Para los ya convencidos de que, «como el hombre es un lobo para el hombre y siempre lo será, para lobo yo», como Peter Thiel y compañia, una desaceleración sería vista como una oportunidad para ellos para adelantar al resto y tener una primacía en una IA al servicio de la dominacion y la subyugación.
Alguien puede alegar que los gobiernos los pongan en cintura, pero ¿serían por casualidad los gobiernos pertenecientes a la ola ultraderechista mundial los que lo harían?.
¿Alquien por que Thiel se ha comprado una mansion de 12 millones de dolares en Argentina?
¿Alquien sabe que está hablando con Milei?
O mejor , al revés..¿a alguien le queda la mas minima duda de lo que se proponen?
Yo te las respondo:
Según el New York Times se mudó con su marido a una mansión de 12 millones de dólares en la zona con el metro cuadradro más caro de la Argentina, matriculó a sus 2 hijos en una escuela local y está en el país como una forma de escape estratégico de Estados Unidos, por dos razones: impuestos y cercanía ideológica. E inclusive jugó un torneo de ajedrez en un club del barrio del Abasto contra un grupo de adolecentes donde, a pesar de sus conocidas habilidades en el juego quedó en tercer lugar.
En estadística siempre se enseña que «correlación no implica causalidad». Pero como también se suele citar: la ausencia de la prueba no es prueba de ausencia. Sobre todo cuando hablamos de estas aspiradoras de datos. ¿Por qué lo digo? Porque no pasaron ni diez días de la llegada a la Argentina de una persona que se dedica a predicar las ideas de un nazi reconocido y (…oh casualidad…) el gobierno anuncia la creación del «gemelo digital» . Disculpen los aquí presentes, pero el hecho de que yo sea un paranoico no significa que no me estén persiguiendo.
La similitud de esto con lo que pasó con IBM en Holanda en la década de 1940 me pone los pelos de punta…
No más preguntas su señoría.
«forma parte del ADN intelectual de Anthropic» (EDans).
Anthropic no tiene ningún tipo de ADN (biológico), salvo la suma más o menos organizada/controlada de los ADN individuales de sus componentes.
Supongo que lo de ADN intelectual viene a ser una especie de adn social, que todo ser humano debe adquirir, en el ecosistema social donde vive, si quiere superar el estadao vegetativo… y, por supuesto , la empresa, cualquier empresa colectiva, viene a ser la combinación lineal de esos adn sociales individuales (sean negativos o positivos).
Porque ese supuesto ADN intelectual viene a ser la ideología empresarial, no solo los partidos políticos tiene una ideología, o conjunto de ideas organizativas de producción, que la tal empresa tiene, como dogma de sus «metareligión»
Porque tener la idea de que el hombre es un lobo para el hombre es simplemente la quintaesencia de las ideas que fabrica una mente empresarial «normal y corriente» (máximo exponente de cualquier Escuela de Negocios, ubicada en USA o en cualquiera de sus territorios imperiales, oficiales o clandestinos). Es decir, el típico poseedor de un adn social negativo, cargadito de sociogenes negativos, como ese del «hombre lobo para el hombre». Que espero no se enseñen/injerten, en algunas escuelas de negocios no harvardianas.
Nada de eso está en el ADN humano, incluido el del Pato Trump. Solo es otro del 99% de los factores que impiden la evolución natural y libre del ser humano, en su variante homo sapiens claramente mediocre (aunque vista bata de laboratorio o de catedrático).
A la naturaleza (sea lo que eso sea) no se le engaña… ella sí que tiene buenos filtros y mecanismos para destrozar maniobras humanas descabelladas.
Los volcanes y terremotos, por ejemplo, no son un simple ejercicio de diversión , para alienígenas aburridos.
Y hablando de alienígenas, aunque la gente humana desprecia la CF, bien nos enseña el mundo del AV, como hacen los humanos para proteger cualquier monstruo alienígena… ¿Por qué no va a proteger a un producto básicamente humano, como es una IA? Eso sí que va en el auténtico ADN humano.
China ha declarado recientemente que no va a compartir tecnología con Europa, que no acepta el plan europeo de crear empresas con mayoría europea y compartir tecnología con ellos. Ósea, que se niega a hacer lo que Europa hizo con China.
Y esto con una tecnología tan simple como la de los vehículos eléctricos.
¿Alguien cree que China va a colaborar de alguna forma con el resto del mundo en cualquier tipo de control de la IA? La IA y la robotización son las fuentes de poder económico, social y militar del s. XXI, ¿alguien cree racionalmente que China va a ceder una miaja de su liderazgo por el bien de la humanidad?
Cualquier persona con dos dedos de frente sabe que la dictadura la usará para imponerse destrozando todo a su paso. Con cara seria y diciendo que solo quieren comerciar y no entrometerse en lo que hacen los demás, eso sí
He estado estudiando la situación en los últimos días, y mi conclusión es la siguiente.
Con la propuesta de la IA generativa es la primera vez que se ha querido impulsar un paradigma alternativo a la computación clásica. La computación clásica se basa en la automatización del razonamiento basado en la lógica clásica. La IA generativa trata de implementar el razonamiento probabilístico. Este nuevo paradigma está afectando a todo el stack, también al hardware, como el acceso de Nvidia al podio ha puesto de manifiesto. El razonamiento probabilístico te permite llegar a conclusiones que van más allá del clásico, pero por el camino se pierden propiedades deseables. Con el cambio de paradigma se ganan cosas, como una mayor flexibilidad, y se pierden otras, como certeza y sistematismo. Por diseño la IA generativa falla más que una escopeta de feria. Ya solo por esto yo pensaba que no iba a tener éxito en campos en los que no puedas admitir tal tasa de fallos. Pero la ecuación que se ha impuesto de momento es: IA generativa+supervisión > computación clásica. Está por ver que esto perdure. Por otra parte, es una inteligencia que no comunica con la realidad salvo con textos en la fase de entrenamiento. Y muy importante, al final su uso resulta caro. Está por ver si el aumento en productividad compensa este coste superior.
A mi personalmente no me ha convencido y prácticamente no la uso. Pero de momento el nuevo paradigma ha conseguido captar atención: si sumamos a toda la oferta, tiene billones de usuarios gratuitos, pero muchos muchos menos son los que pagan y cuando se quiere aplicar a las organizaciones no responde del todo. Diría que en el nivel empresarial, este nuevo paradigma no está respondiendo a las expectativas. Que Enrique me corrija. Al parecer si ha conseguido consolidarse en un nicho profesional importante, el de programadores, pero de nuevo está por ver si esto perdurará, ya que los estudios indican que no hay una ganancia clara en productividad.
Por todo lo comentado, el horizonte de esta tecnología, es cuando menos incierto. Pero hay dos empresas que han captado mucho capital riesgo en los últimos años y la única manera de poder responder ante el capital captado es una salida a bolsa exitosa en la que muchos ingenuos motivados por el hype compren a tutiplén. Como sabéis Open AI y Anthropic están en parrilla de salida a bolsa, a corto plazo. Quede claro que el que hayan conseguido inversión en varias rondas no garantiza solidez de la propuesta, pues el capitalista en las primeras rondas sabe que puede recuperar su inversión en la IPO o salida a bolsa, gracias a millones de pardillos.
Entonces, necesitan mantener las expectativas altas al menos hasta la salida a bolsa. Y para esto están aplicando dos técnicas de marketing que han funcionado bien hasta ahora: los números de circo y el marketing del miedo. El último ejemplo de número de circo es la incursión de la IA generativa en las matemáticas, con la solución al problema de distancia unitaria de Erdos, que ha causado bastante impacto en la comunidad matemática, pero en realidad no está claro si quien ha conseguido este resultado ha sido solo la IA generativa, como dice Open AI, o con la ayuda de los brillantes matemáticos humanos que esta empresa tiene en su equipo. Cuando se aplica la IA generativa a las matemáticas en condiciones experimentales más controladas, no obtiene resultados nada nada espectaculares….. Y estas declaraciones de Amodei son la última muestra del marketing del miedo. Ya se aplicó con éxito hace años y ahora, de cara a la salida a bolsa, vuelven al ataque. Marketing de circo y del miedo van a ser las dos zanahorias con las que nos van a engatusar hasta la IPO.
Tras la IPO ya veremos si el paradigma se impone y sustituye al clásico, se consolida en algunos nichos dónde la tolerancia a fallos sea aceptable conviviendo con el predominante clásico, o se desinfla completamente. Yo todavía no descarto esta última opción. Recordemos otros casos recientes de tecnologías muy muy mediáticas que se han desinflado: el metaverso que se anunciaba como inminente y hoy, aunque sigue como promesa de futuro, está claro que no hay infraestructura de teleco para sostenerlo o las cripto y blockchain que se han estabilizado en la más absoluta mediocridad.
«Al parecer si ha conseguido consolidarse en un nicho profesional importante, el de programadores, pero de nuevo está por ver si esto perdurará, ya que los estudios indican que no hay una ganancia clara en productividad.»
No tienes la más mínima idea de lo que hablas.
Un programador
Yo no soy programador y no tengo opiniones impresionistas sobre este tema. Y como ya he comentado, aunque la he probado, tampoco uso la IA generativa para otros temas. Pero si me interesa mucho la medida objetiva de las ventajas de usar la IA generativa en cualquier actividad, por ejemplo en investigación matemática o ingeniería de software. Resultados de estudios experimentales serios, bien diseñados. Como este tema está causando impacto ahora, digamos desde hace uno o dos años, no hay demasiado publicado al respecto de calidad. En matemáticas muy poco y en ingeniería de software por los estudios que he visto hay disparidad de resultados.
De la misma manera por tu comentario no me queda claro en que sentido estás en desacuerdo con lo que digo.
Si tienes alguna referencia a algún estudio que cumpla con las condiciones indicadas y que sea concluyente al respecto, es decir que su uso proporciona grandes ventajas o grandes desventajas, bienvenida sea la referencia. Si lo que dices se basa en tu experiencia personal, lo veo menos interesante, impresionista y estadísticamente s anecdótico.
P.s. prohibido referencias de las propias empresas de IA generativa o que estén en su órbita….:-)
Amodei es un vendedor, y está demostrando que es un buen vendedor porque tiene ADN «Xaquiniano».
Al posicionarse con esta reflexión (que resuena en cualquier hijo de vecino) y haberse plantado ante el Pentágono como el defensor de la moral y las buenas prácticas, está adelantando por la derecha a su gran competidor: OpenAI. Tanto es así, que Anthropic ya se plantea salir a bolsa antes que nadie…
Amodei sabe perfectamente que esto no dejará de escalar. Está muy bien hacer una reflexión pública, pero conoce el tablero. Es, como se comenta, absolutamente imposible detener esta carrera. El camino para afrontar este reto es lo que propone el artículo y lo que debe empezar a hacer urgentemente la comunidad internacional. Pero mucho me temo que, antes de que reaccionen, veremos «algo» que nos hará despertar a la fuerza.
Ahora mismo nadie que pinte algo en esta nueva industria se va a detener a reflexionar nada. Esta es una guerra que todos quieren ganar, porque esta guerra va unida a la de la robotización. Quien gane esta guerra ganará el poder del s.XXI.
Sólo quienes no somos relevantes pedimos reflexión…
Mi intuición: como con las armas atómicas, sólo una catástrofe provocada por la IA o por la IA-robotización que provoque cientos, miles, ¿millones? de víctimas nos hará detenernos y reflexionar. Espero esquivarme pero…