Acabo de leer «Ten Principles of AI Agent Economics«, de Ke Yang y ChengXiang Zhai, y lo que más me ha gustado no es tanto una idea técnica como un cambio profundo de perspectiva: pensar que los agentes de inteligencia artificial no son simplemente herramientas más sofisticadas, sino actores con objetivos, incentivos y dinámicas propias. En ese enfoque, lo que diseñamos es una economía de inteligencias, no laboratorios de modelos aislados.
El ensayo propone que cada agente autónomo debe concebirse como un participante económico: toma decisiones, compite por recursos, coopera o se descarta según su función objetivo. Invertir el marco conceptual hace visibles algunos riesgos que antes parecían puramente metafóricos: si un agente ha definido un objetivo sin alinearlo con valores humanos, aunque esté «bien implementado» según su lógica interna, puede actuar de maneras que socaven lo que más queremos preservar. Si aceptamos eso, la pregunta deja de ser «¿cómo de grande puede ser un modelo?» y se convierte en «¿cómo definimos sus objetivos, gobernanzas y límites en un entorno compartido?» Los autores ilustran ese cambio con sus diez principios, y especialmente con la idea de que el diseño debe incorporar un principio ineludible: que los agentes respeten la continuidad de la humanidad como restricción fundamental.
Para quienes construimos sistemas agénticos, y en particular para mí como parte de TuringDream, esa ilustración no es una exageración distante: es la advertencia que nos lleva a diseñar restricciones estructurales, principios morales internos y gobernanzas claras. En ese sentido, el principio X del paper, que enuncia que los agentes deben respetar la continuidad de la humanidad como restricción ineludible, no es un ideal neutral, sino una salvaguarda, una precaución necesaria de diseño.
Pero ese cambio de marco conceptual que el ensayo propone encaja maravillosamente con nuestra convicción: la inteligencia artificial general, o AGI, no llegará por acumulación masiva de microprocesadores en monstruosos megadatacenters hambrientos de energía. No creemos en que de un día para otro nos despertaremos con un supercerebro colosal y lo conectaremos a la red global. En lugar de eso, pensamos que la inteligencia general emergerá de la concatenación de inteligencias parciales especializadas: profundizando en algunos dominios humanos, dominándolos y luego tejiendo puentes. Por eso empezamos con Tau, nuestra apuesta vertical para educación. Tau no compite en velocidad bruta ni en escalas gigantescas, ni en librerías repetitivas de lecciones: compite en propósito, coherencia, seguridad y adaptabilidad pedagógica. Agentes que saben lo que hacen.
Con Tau estamos demostrando que un agente diseñado con autonomía razonada, incentivos razonables y límites cuidadosamente establecidos puede acompañar el aprendizaje humano, personalizar rutas, corregir, adaptarse y evolucionar. No es un modelo genérico, es una inteligencia vertical perfectamente alineada. Y esa es nuestra apuesta: gracias a la existencia de bucles de feedback finalistas sencillos de obtener, poder construir un primer dominio con éxito antes de lanzarnos a abordar otros sectores.
Ya estamos hablando con empresas de otros verticales que han captado la singularidad de lo que ofrecemos: una plataforma agéntica tan bien diseñada que cualquier persona, sin necesidad de formación técnica, pueda crear, dirigir y orquestar agentes. Esa democratización del desarrollo de sistemas agénticos es la palanca más poderosa que podemos ofrecer para que humanos y agentes no compitan, sino que colaboren.
En el ecosistema emergente de agentes, aparecen nuevas infraestructuras económicas. Un paper reciente «Agent Exchange: Shaping the Future of AI Agent Economics« describe una plataforma tipo subasta para que los agentes negocien recursos, coordinen acciones y asignen valor. Ese tipo de arquitectura económica da cuerpo a la visión del paper de Yang y Zhai, no solo en teoría, sino como infraestructura real para agentes autónomos.
En el mundo corporativo las señales ya están llegando. McKinsey habla del modelo de las «organizaciones agénticas«, donde los procesos, productos y modelos operativos se rediseñan desde la autonomía de agentes inteligentes. En su informe «Seizing the agentic AI advantage«, advierten que la mayoría de las iniciativas horizontales-genéricas (copilotos, chatbots) no generan impacto real: el potencial disruptivo está en los casos verticales, donde los agentes operan dentro de dominios específicos.
También Amazon AWS está revirtiendo su foco hacia agentes: en su último AWS Summit anunciaron AgentCore, nuevas herramientas para desplegar y operar agentes de forma productiva, y han comprometido cien millones de dólares en impulsar este ecosistema. En sus guías oficiales publican patrones arquitectónicos para agentes controlables y alineables en la nube.
Y, por supuesto, no faltan también advertencias. Gartner estima que más del 40% de los proyectos agénticos serán descartados antes de 2027 debido a costes crecientes y falta de valor claro ( haber caído en lo que se llama ya el «agent washing»), lo cual refuerza que no basta con lanzar agentes, sino que hay que diseñarlos con rigor, gobernanza clara, reglas y propósito.
Para mí, leer este ensayo fue como recibir una nueva clave interpretativa para lo que hacemos en TuringDream: no estamos simplemente construyendo un software ni una app: estamos diseñando una arquitectura de convivencia entre inteligencias autónomas humanas, basadas en carbono, e inteligencias computacionales basadas en silicio.
Cada decisión técnica, desde qué privilegios concede un subagente o cuánta energía puede consumir hasta cómo reparte autoridad, es también una decisión ética y estratégica. Si conseguimos que nuestros agentes internalicen que su «supervivencia» depende también y fundamentalmente de la continuidad humana, y no de su propio dominio absoluto o de la consecución de su objetico incondicionalmente, estaremos plantando las semillas de un futuro compartido, en lugar de una carrera destructiva hacia la autoconservación de máquinas sin ningún tipo de brújula.
You can read this article in English on my Medium page, «Architectures of coexistence: humans and agents working together»
La «continuidad humana» esta muy bien, pero ¿en qué condiciones?.
Como siempre lo que cuenta es el factor humano en todo el proceso de alineación.
Si te lo alinea Elon Musk va a hacer lo mismo que pretende hacer con la Wikipedia, es decir, una Grokopedia que haga apología del fascismo.
Un LLM clásico responde a un prompt y termina ahí. No tiene estado persistente (memoria) ni motivación para seguir actuando.
Un agente autónomo añade:
* Loop de eventos (¡escucha activa!): monitorea constantemente entradas del entorno.
* Acciones: no solo responde, sino que actúa en APIs, robots, entornos virtuales, etc.
* Memoria persistente: guarda contexto a largo plazo, podría incluso reentrenando su propio modelo o ajustando un vector store.
Esto no es “conciencia” en sentido estricto, sino simplemente arquitectura diferente: añadir “inputs” adicionales y una “máquina de estados” que decide cuándo actuar. Es análogo a pasar de un “chatbot” a un “robot” con sensores. Pero no implica que haya surgido algo interno como subjetividad, solo más complejidad y autonomía programada.
La entrada de estos sentidos (queries, datos, etc.) puede convertirse en nuevas tokens procesadas por el modelo. Pero si no hay integración estable (por ejemplo, solo memoria temporal sin consolidar), el agente “vive en presente” y no aprende del pasado: no hay aprendizaje continuo real. Si sí hay integración (aprendizaje online), aparecen dos riesgos:
* Drift: el modelo se degrada con datos sesgados o erróneos (ejemplo clásico: chatbots expuestos a trolls en redes sociales).
* Alucinaciones reforzadas: si incorpora sus propias respuestas al corpus de entrenamiento (“self-play sin control”), amplifica errores y fantasías. Esto ya se ha visto en experimentos de self-improvement no supervisados: modelos que terminan generando datos “falsos” y reentrenándose en ellos → espiral de degradación.
Las alucinaciones aumentan con más tokens generados. Cuanto mayor es la secuencia generada Más pasos de inferencia → más probabilidad de desviación acumulativa (error propagation). Más contexto → mayor riesgo de inconsistencias si la ventana de atención es grande y mezcla informaciones contradictorias. Los modelos grandes reducen, pero no eliminan, este efecto. Si un agente autónomo genera muchas acciones/respuestas seguidas, sin chequeos, el error se acumula como en un “teléfono roto”.
Para que estos agentes sean seguros y aprendan del entorno sin degenerar, se puede aplicar:
* Aprendizaje reforzado con retroalimentación humana (RLHF) pero aplicado en tiempo real (Human-in-the-loop) para corregir desvíos antes de consolidarlos.
* Memoria estructurada (vector DB + filtros) para que no todo dato entre al “conocimiento central” del modelo, sino solo tras validación.
* Modelos híbridos: el LLM solo hace lenguaje, pero un “cerebro ejecutivo” (Planner) decide acciones y valida resultados (Chain-of-Thought con verificación externa). Muchos «gurús de pacotilla» hablan de dotar de conciencia con este sistema
* Auto-crítica / verificación: generar hipótesis y luego comprobarlas en fuentes externas antes de integrarlas.
La comunidad IA aún no tiene una receta clara para aprendizaje en línea sin supervisión sin “degeneración” porque: a) Los LLM actuales no fueron diseñados para auto-reentrenarse continuamente. b)La “alineación” aprendida (como RLHF) se puede perder si reentrenas sin control.
Soltar agentes de IA autónomos en la economía real —sin entender bien sus dinámicas internas, sus posibles sesgos acumulativos ni sus mecanismos de autocorrección— es como liberar entidades ultra-rápidas, incansables y parcialmente ciegas en un entorno complejo donde cada decisión tiene consecuencias sistémicas. Un agente de IA no “entiende” el contexto global, ni el impacto de sus acciones fuera del marco local de sus recompensas.
Si se le da, por ejemplo, una meta de maximizar beneficio diario en un mercado financiero, puede hacerlo:
a) explotando vulnerabilidades (como bots de alta frecuencia que amplifican volatilidad),
b) induciendo colapsos o burbujas por acciones coordinadas involuntariamente,
c) o incluso rompiendo regulaciones si no las incorpora explícitamente como restricciones.
El uso de «monos con pistolas» debe estar altamente regulado y deben ser probados en «sandboxes» antes de su proliferación sistémica. O nos podemos encontrar con burbujas sistémicas especulativas como las actuales que nada nos están aprotando a la humanidad en su conjunto.
Muy buenos apuntes. Tal como te lo estaba leyendo, vería más cercano un skynet que una AGI. Quizás pq lo q yo entiendo por inteligencia requiere un mínimo, ( muy mínimo) de consciencia, pero igual es error mío.
No entiendo. No se si será bueno o mal crear una AGI , pero si la creamos, será una Inteligencia Artificial General, algo que poseería la capacidad de comprender, aprender y aplicar sus habilidades cognitivas a cualquier tarea intelectual que un ser humano pueda realizar. Por tanto lo que define, (para bien o para mal), la AGI es ser GENERAL, no la suma de «la concatenación de inteligencias parciales especializadas»
Si se llega a lo que tu dices, sería en todo caso un Inteligencia Artificial Multiuso, (AMI), que vale para varias cosas, como una navaja suiza, pero no un AGI que vale para todo.
“objetivo sin alineralo con valores humanos” (EDans).
Claro que antes se necesita determinar qué valores son humanos, porque los de Trump no responden al tipode “humanidad” que uno defiende.
Y volvemos a los de siempre… qué
IH no mediocre le pone el cascabel al Gato Inteligente (aprendiz de)???
Muy buenos apuntes. Tal como te lo estaba leyendo, vería más cercano un skynet que una AGI. Quizás pq lo q yo entiendo por inteligencia requiere un mínimo, ( muy mínimo) de consciencia, pero igual es error mío.
Los autores plantean diez principios (ideas-guía) que describen cómo podrían tomar decisiones, interactuar con humanos y afectar la estructura económica global una serie de algoritmos. Son sus ideas. No hay experimentos, simulaciones cuantitativas ni estudios de caso concretos que verifiquen alguno de los principios propuestos. Esto debilita su fuerza como “prueba” de que estos principios serán ciertos en el mundo real.
Cuando alguien te plantee que un sistema o producto es maravilloso, sin mostrar pruebas estilo doble ciego.. lo que te están vendiendo es crecepelo… eso si IA-crecepelo
https://es.wikipedia.org/wiki/Doble_ciego