Cada vez son más los analistas que se apuntan a una idea que ya he escuchado en la industria: que los algoritmos generativos, que tantísima popularidad han alcanzado desde el lanzamiento en abierto de ChatGPT en noviembre de 2022, van a recibir «una ducha fría» en sus perspectivas de adopción durante el 2024 debido, fundamentalmente, a su incapacidad para alcanzar una estructura de costes razonable y que tenga sentido.
La cuestión parece pura lógica aritmética, y se reduce a un simple análisis de los costes de producción de esos algoritmos frente a sus costes de operación. Los costes de producción de un algoritmo generativo son ya de por sí muy elevados, dado que requieren el desarrollo de modelos con miles de millones de variables cuando, hasta hace muy poco tiempo, los modelos utilizados habitualmente en modelos de automatización muy sofisticada de machine learning solían tener, como mucho, algunos cientos. Pero como tales costes de desarrollo, las compañías podían plantearse su amortización a largo plazo, recurriendo en muchos casos a capitalistas de riesgo más o menos pacientes dispuestos a esperar a la maduración de la inversión.
El problema surge cuando hablamos, además, de modelos cuyo entrenamiento no se puede detener y precisa de constantes iteraciones para generar nuevas versiones más avanzadas y que tengan en cuenta un contexto permanentemente cambiante, y además, al tiempo, se enfrentan con costes operativos también muy elevados, que generan flujos de caja negativos constantes. Si los costes de entrenamiento son ya de por sí elevados, los costes de inferencia exceden con mucho la escala de los anteriores, y crecen más aún a medida que el modelo se hace más grande.
Simplemente la operación de ChatGPT genera más de 700,000 dólares al día en uso de servidores a OpenAI: cada vez que alguien hace una pregunta al conocido algoritmo, la compañía pierde dinero, bien porque se trate de un usuario gratuito, o porque sea uno de pago que, por lo tanto, tiende a mantener un uso mucho más habitual e intenso. Plantear un precio que permitiese un equilibrio con respecto a los costes que genera supondría, seguramente, que muy pocos pudiesen plantearse recurrir al algoritmo de manera cotidiana. Incluso con su crecimiento en facturación y cobrando veinte dólares al mes a los usuarios premium, la compañía está muy lejos de cubrir sus costes.
En términos de coste, de uso de energía e incluso medioambientales, hay quienes califican a ChatGPT de «pacto con el demonio«. El análisis del funcionamiento operativo de los llamados Large Language Models permite comprobar que los costes que generan son difícilmente compatibles con una operativa comercial razonable, y ayuda a comprender por qué Google, al principio de esta carrera armamentística por tener el mejor algoritmo generativo, vaciló antes de lanzarse a competir. Frente al coste de una búsqueda convencional en bases de datos masivas pero brutalmente optimizadas, el de una búsqueda que utilice una inferencia resuelta mediante algoritmia generativa es varios órdenes de magnitud mayor. Los resultados de una búsqueda tal vez puedan ser más concluyentes – excluyendo, lógicamente, las llamadas «alucinaciones» que algunos, además, están usando para contaminar la web – pero, simplemente, no nos los podemos permitir desde un punto de vista financiero razonable.
Convertir el hype de los modelos de algoritmia generativa en beneficios para las compañías parece que va a ser extremadamente complicado, y eso podría significar un parón importante en el uso que hacemos de ese tipo de herramientas, al menos hasta que las mejoras continuas en eficiencia y el progresivo descenso en los costes de computación permitan reducir esos costes operativos (con Microsoft incluso encomendándose para ello al desarrollo de nuevos chips para competir con Nvidia). Para algunas compañías, esto puede representar la llamada «muerte por LLM«, la incapacidad para cubrir los costes de sus operaciones. Para muchos usuarios, tras haber probado satisfactoriamente este tipo de algoritmos en muchas tareas, esto podría significar dificultades, sobre todo si han dimensionado servicios basados en ellos y con las estructuras de costes que se plantearon inicialmente.
Aparentemente, cuando Google, teniendo tecnología disponible para ello, no lanzó ningún servicio al público basado en ella, sabía lo que hacía: simplemente, había hecho los números, y no le salían. Ahora, tenemos una oferta de un producto que cuesta tanto entrenar y operar que no puede hacerse a precios razonablemente atractivos, que no ha solucionado el problema de las alucinaciones – lo que impide muchos usos que requieran cierta fiabilidad – y al que le queda mucho, en el estado actual de la tecnología, para ser de utilidad al nivel que muchos creyeron que lo sería. Es el problema que tiene creer que es posible adelantarse a los tiempos.
This post is also available in English on my Medium page, «Are generative algorithms viable? Ask ChatGPT to do the math«
Muy interesante, Enrique. Al menos por ahora, esto de los algoritmos generativos va a resultar como lo que fue el Concorde para la aviación: una fuente de enormes expectativas pero con unos costos muy difíciles de asumir.
No sé si los costes del Concorde fueron los que determinaron su retirada, creo que más bien fue la dificultad para actualizar su diseño y la negativa de los franceses a seguir suministrando piezas de recambio. Según Wikipedia cuando se retiró en 2003, tras el accidente de París del 2000 y los atentados del 11 de septiembre, cada vez menos gente quería volar en él, y eso, unido a los costes de upgrading y mantenimiento y a la falta de piezas, terminó por determinar su retirada.
Pero en cualquier caso sí, la idea es esa: tenemos una tecnología disponible aparentemente interesante, pero no podemos utilizarla de manera razonable porque no nos la podemos permitir…
Es claro que en el caso del Concorde hay un conjunto de factores que habría que analizar, pero lo de los costos de operación son un factor a tener en cuenta. Hay un antiguo artículo del New York Times, relacionado con el último vuelo del Concorde, y que se titula For Concorde, Economics Trumped Technology que da algunas luces al respecto:
Es probable que lo que dice el portavoz de Air France («in some years») se aproxime más a la realidad, a diferencia de lo que afirma el ejecutivo de British Airways. Yo recuerdo que hace muchos años consulté la tabla de precios para un vuelo Londres – Nueva York – Londres y estos eran:
Clase turista: 777 libras
Clase ejecutiva: 2.777 libras
Primera clase: 5.777 libras
Concorde: 10.200 libras
Siempre soñé con viajar en el Concorde, pero la verdad es que era muy caro y no tenía una comodidad precisamente de primera clase. Alguna vez que vengas por Alemania deberías darle un vistazo al Technik Museum Sinsheim, donde puedes ver por fuera y por dentro no solo un Concorde sino también un Tupolev Tu-144.
Supongamos que realmente, como parece ser, los costes son tales, que no se puede mantener en funcionamiento la AI y OpenAI y otras empresas similares deciden cerrar los Algoritmos Generativos.
¿Aceptaremos tranquilamente saber que la AI está ahí, pero que no la podemos alcanzar?
El ejemplo que pone MAURICIO es muy bueno. Todos hemos renunciado a los viajes supersónicos, porque el coste adicional de unos viajes poco habituales no compensa el tiempo ahorrado. ¿Algo parecido pasará con la AI?
NO!
Solo tenemos que renunciar a crear videos de gatitos, deepfake porno y conversaciones ridículas donde todo el contenido es erróneo. El resto de usos de la AI para cosas que SÍ que sirven para algo seguirán su evoución natural.
Imaginemos que con las herramientas que ya existen, pero potenciadas, de LLM se hace un video con la la segunda parte de «Lo que el viento se llevó» con los mismos actores, voces, decorados, etc, que la primera parte, pero todo «falso digital» ¿Cuánto podrian llegar a pagar un productora como Metro-Goldwyn-Mayer por el coste de la LLM?
Puede que al final solo se quede para cosas de este tipo
Algo asi? XDDD
propositos serios y de investigacion
(lo siento, lo he visto y….) XDD
Será muy interesante ver cuando el precio de ChatGPT Premium cambia. Para mí y miles de otros, ha sido una herramienta muy muy útil, honestamente, pagaría $50 al mes por ello. Creo que es una posibilidad que suben el precio cuando añaden Dalle-3 esté mes para los usuarios de Premium.
Ya lo había mencionado otro forista hace unas semanas (perdón, no recuerdo quién):
Microsoft is hiring a nuclear energy expert to help power its AI and cloud data centers
Lo cual, ahora que leo esta publicación de EDans, me hace mucho sentido cuando leí hace algunos años que «el tío Bill y su gran amigo de andanzas, Warren» (…que no dan puntada sin hilo…) se están involucrando en las energías nucleares con sus nuevos reactores Natrium:
4 junio 2021: Cómo es el innovador reactor nuclear «Natrium» que Bill Gates y Warren Buffett construirán en EE.UU.
11 enero 2023: Bill Gates Would Like to Build All of the Nuclear Reactors
Por cierto, eso de jugar al gran capitalista, conociendo de antemano cual va a ser la próxima tecnología disruptiva (AKA: jugar con las cartas marcadas) lo hablamos en otro momento… así somos todos empresarios…
«jugar con las cartas marcadas»
No te pillo…¿acaso saben ellos algo que nosostros no? Porque lo del gasto energético ya se sabía desde que se anunció GPT.
PD: qué puto ascazo la foto de estos dos señores…
Lo comenté yo hace días, sí, aunque relacionado con el hecho de que los servidores consumen el 20% de la energía producida en el mundo y creciendo.
Si a esto le añadimos lo que comenta el Sr. Dans pues ya tenemos una idea más exacta del problema.
La cuestión entonces sería: ¿es el coste energético de operación una variable tan importante? Porque como así sea y los SMR respondan a las expectativas, veo el mundo poblado de mini reactores nucleares. Algunos van a ponerse muy nerviosos…
¿costes altos?
Ya están vendiendo burras…
Tengo en mi PC mileurista….
* Un algoritmo generativo comparable a GPT3 (Llama2)
* Y algoritmos generativos de diseño gráfico (Stable Diffusion) comparables a MidJourney o DALLE… number five (leer con musiquita de Mambo)
Pues si son caros, claro que si, me he quedado sin disco duro…. solución ¿la nube? Noooo. Un HD-USB de 4TB por 100 Pavos !!!
Todo generación local…. que caro….
Un LLM realmente no ocupa demasiado espacio en comparación con las capacidades de un PC moderno.
Quizás una solución sería que vendiesen versiones instalables de los algoritmos y/o sus actualizaciones.
De esa forma el coste de operación no sería suyo.
Pero claro la nube está de moda y además no podrían mangonear el algoritmo, precios, condiciones, etc. tan a su gusto como si dependemos de la nube.
No te olvides que con el modelo de todo en local que pongo arriba ellos no monetizan… el negocio de la nube… es venderte su burra… sin burra no ganan dinero
XDDDD
(no es lo mismo… y lo sabes/se) :P
por qué
no es lo mismo?
Pruebalo y me lo cuentas…
dos pistas:
– consumo
– velocidad de respuesta
por qué
no es lo mismo?
No estaría de más que, con este tipo de noticias, empezáramos a respetar algo más a la naturaleza, por todos su trabajo en pro de una evolución realmente positiva. Especialmente en lo tocante a una inteligencia humana, que sea realmente operativa evolutivamente.
Tarea, por cierto, que se loaponemos bien difícil de cojones (y de ovarios). Somos muy perezosos en cambiar de chip, y más para poder superar la versión homo sapiens.
Toda la razón… Yo sigo de cerca este tema y no dejo de flipar de todo lo que hace un cerebro humano con poquísima energía. Es una pasada.
Todo esto ya se dijo hace meses, además de resultar de todo punto obvio, siento decir (ya al principio explicaron cuántas H100 de Nvidia se usaron para entrenarlo, y te caías de espaldas).
También es cierto, como dice C3PO, que se ha avanzado en la simplificación del modelo para que gaste menos, aunque eso contrasta con nuestra constante necesidad de tener un modelo más grande de coche…que diga, de LLM.
Al final la solución va a venir de redes neuronales «analógicas» tipo neuromorphic computing, etc, y si no al tiempo.
El problema es de monetización (!) es exactamente el mismo problema de darte un videojuego de calidad, con una GPU dedicada al señorito en su casa, te tienen que poner un HW para ti durante cierto tiempo. Pero mientras el Holding time de la IA es mínimo (entre consultas, o dibujitos) el del Video es de tirarte horas jugando… al final es pagar una máquina dedicada cierto tiempo a ti…. pero la IA es en sharing time, el videojuego, tienes el HW pillado mucho tiempo.
Entrenar es caro? Pues claro, igual que desarrollar un videojuego, pero ese coste se hace una vez y luego se distribuye….
Que no, que no es tan caro, es simplemente, que son unos llorones.
¿Cuanto cuesta el HW decente para servirte la IA? ¿3000€)? Le calculas 3 años de vida y con margen, 50cts la hora de alquiler… que se canten otra !!!
Using it to summarize an email is like getting a Lamborghini to deliver a pizza.
They require massive compute power,” said Jean-Manuel Izaret, the head of the marketing sales and pricing practice at Boston Consulting Group. “They require massive intelligence.”
Big Tech Struggles to Turn AI Hype Into Profits
Interesante reflexionar sobre todo esto.
El punto está en que si los usos de la IA aumentan lo suficiente la productividad en muchos aspectos se pueden asumir los costes. P.e. si un programador que cobre 5k / mes, aumenta un 50% su productividad, podremos pagar 1k / mes por la IA. Otra cosa es, como decían más arriba, que se use para hacer gatitos creativos.
¡Iremos viendo!
No olvides que tan productiva sea la IA, tanto puesto de trabajo se perderá. No será un complemento, como ahora, sino un sustituto.
Veo que algunos discuten el costo de la IA… hagamos un cálculo de servilleta.
No se sabe con certeza (al menos, no he encontrado info seria, solo aproximaciones “de decenas de miles”) de cuantos servidores hay detrás de la IA de ChatGpt. Pero si sabemos que son racks de servidores con GPU’s A100 y que recientemente Microsoft ha adquirido 20mil H100 para ampliarlas.
Números:
Las GPU se montan en servidores 4U en números de 8/10 unidades.
El TDP de cada tarjeta es (oficialmente) de 700W. (posiblemente lleguen a 750/800W)
Dichos servidores se comandan con dobles CPU Xeon y 2 fuentes de alimentación redundantes de 2000W.
Ya estamos en 11mil W. Y hay que sumar, la refrigeración.
Si cada H100 esta en torno a los 40mil$ y dichos servidores sobre unos 15mil$ hagan cuentas.
Hay que sumar también, todo el ancho de banda necesario para recibir 100M de peticiones al día.
Si me dicen, que no le sale a cuenta, me cuesta creer lo contrario.
Eso es totalmente cierto.
Como cierto es que todos los servidores de youtube, gmail, gdrive, facebook, twitter, office 365, dropbox, onedrive, etc etc tienen su coste y no deben seer precisamente bajos… la única diferencia es que ahora los PCs de las AIs deben ser muy rápidos, tan rápidos y «diferenciales» que casi no hemos visto anuncios de colab en formato «gratis», para que no se les colapsen…y están colapsados.
Me gustaría ver esas cuentas…. tampoco deben ser el chocolate del loro
La diferencia es sustancial, ese HW de la IA debe estar disponible para ti, es el mismo negocio que los videojuegos por streaming,… una GPU dedicada,… y lo sustancial es que si no te venden el servicio difícil monetización tiene, MS ha encontrado hueco en decir que todo su Office va a ir con IA. ¿ya veremos que el marketing lo resiste todo? También decían que GPT4 iba a ser multimodal, y ahí estamos con el marketing para crédulos…
Al final los más listos parecen que son los de google, que están yendo pasito a pasito, anda que no había voces por este blog, diciendo que les habían comido la merienda, y que eran unos «dinos»,….
Pero quien realmente ha demostrado que esto no es una arco de triunfo son FB con Llama2 y SD… liberan código y están ahí bien posicionados, pero sin costes de usarlo «gratis»…
ya veremos donde acaba OpenAI cuando se les acabe la gasolina… se van a apuntar ellos a su RBU…
Esta claro, que la mejor opción seria un open de alguno o todos los modelos y allá cada cual con el HW que quiera implementar (tal cual ya hemos probado). Podría hacerse un sistema de suscripción para actualizaciones de parámetros, mensual o anual.
La ventaja quizás sería que cada cual podría entrenar a pequeña escala sus modelos según sus necesidades. Pero para crear esos parámetros, es decir, para entrenarlos, sigue haciendo falta una estructura bestial (o crear una red P2P donde el entrenamiento fuera compartido). No sé bien como podría hacerse eso desde alguna fundación y los pocos recursos o donaciones que recibiría y como se enfrentaría a las grandes.
FB, M$ o Google (incluso ahora entra en juego Amazon) tienen infraestructura compartida con otros negocios, y su única manera de monetizar es por suscripción. Hasta donde les sale a cuenta? Yo “no tengo los datos” (guiño guiño), pero de alguna manera, ya que monetizan por otros lados (publicidad, servicios de Google, Office, etc) igual mitigan (que no solucionan) el asunto. De hecho, no nos engañemos, vamos a un modelo de servicio de pago en red para todo. Mira Adobe sin ir más lejos… Quien tenga una copia (original, ejem) de Office o de la Suite de Photoshop, que la cuide…
Con la IA vamos por ahí, insisto, a menos que no tengamos una versión que sea open (y free).
Sea como sea… mantener el tinglado cuesta una pasta (y no lo justifico, solo son números)
Pues a seguir el modelo de negocio de siempre: cerrar Chatgpt3 y el 4, quince días de prueba y luego una suscripción mensual que añada valor a los usuarios. Nada nuevo.
No lo veo tan grave por varias razones.
La intensa competitividad que hará que las empresas dueñas de las IAs asuman esos costes como una buena inversion para posicionarse en un negocio que promete rentabilidades futuras que compensen de sobra esas inversiones.
La imposibilidad de dar marcha atrás de las empresas y particulares que se acostumbren al uso de dichas IAs , una vez que vean las previsibles y potentes mejoras en productividad , rendimiento, facilidad de uso, menores costes por manejarse con mucho menos personal para la misma cantidad de trabajo, etc.
¿Alguien se imagina que alguna empresa vuelva a lo de antes por que tenga que pagar un poco mas por el uso de la IA?.
Las previsiones se hacen con lo que sabemos hoy.
Por ejemplo en cuanto a la cantidad de energia necesaria para el funcionamiento de LLM ¿alguien sospechaba poco antes de que sucediera que Ethereum disminuiría, en solo un año , el coste eléctrico en un 99,5%? Etc,etc.
Va a ser que no, esto va a continuar escalando, y las soluciones irán surgiendo a medida que se escala.
Otra cosa es que a todos los participantes en la carrera les vaya bien. De hecho hay muchas probabilidades que a alguno le vaya rematadamente mal.
Interesante tu reflexión en el último párrafo, creo que eso es la clave de todo… Escuché a Bernardo Hernández decir que open AI era una Non Profit Organization…
Lo que realmente me gustaría saber es quién está detrás de todas estas fuentes de manipulación… Desde los años cincuenta teníamos la televisión ahora tenemos donde elegir quién nos manipule. En fin, siempre encantado de aprender pero como digo me gustaría saber quién está detrás de todo esto… Y con qué objetivo….
Sé que soy un pesado, pero ayer fue el día de la Salud Mental (si es que eso existe, pero bueno…) y fue cuando se publicó esta entrada, en la que se vuelve a hacer mención de las «Alucinaciones» de la IA. Vuelvo a repetir que, denominarlas así es, directamente, un insulto rayano el oprobio hacia todas aquellas personas que, en algún momento de su vida, (o a lo largo de su vida), las han sufrido.
Por otra parte, el argumento de la no viabilidad económica de la IA, es para justificar, si se llegan a dar, las restricciones para la mayoría y así justificar un uso intenso, al coste que sea, de una elite muy interesada en usarla… (Ya no digo nada de parte de los Estados y los usos , siempre taaaaaaan inocentes, que le darán, y que ya le están dando…).
Saludos.
Es interesante ver cómo la realidad financiera está impactando en el mundo de los algoritmos generativos. Los elevados costos de producción y operación, especialmente en modelos como ChatGPT, plantean desafíos significativos. La búsqueda de un equilibrio entre la calidad del servicio y los costos es crucial para su adopción generalizada. La tecnología avanza, pero la viabilidad comercial sigue siendo un obstáculo. ¿Estamos ante una pausa inevitable en el uso de estas herramientas hasta que los costos sean más manejables?