El Cambridge Dictionary ha designado «hallucinate», en español «alucinar», como su palabra del año, resaltando la enorme importancia y popularidad de la algoritmia generativa y cómo la palabra ha cobrado un nuevo significado cuando hemos empezado a utilizarla como forma de entender cuando un algoritmo generativo proporciona respuestas incorrectas a una pregunta.
Que un fenómeno como la algoritmia generativa, que alcanzó un millón de usuarios en sus primeros cinco días abierto al público y cien millones en sus primeros dos meses, se convierta en protagonista de la palabra del año puede resultar bastante comprensible: después de todo, muchísimos millones de personas consideran ahora a ChatGPT, a Claude, a Perplexity y a otros algoritmos como asistentes a los que preguntar casi cualquier cosa, a veces de manera muy razonable y en otras pensando absurdamente que les va a servir hasta de médico, de psiquiatra o de consejero de pareja, y muchos se sorprenden cuando les ofrece respuestas que no tienen nada que ver con la realidad.
Lo que me sugiere a mí, fundamentalmente, es el interesante paralelismo – no una identidad – entre el funcionamiento de unos algoritmos que, en la práctica, son simplemente estadística elevada a la posibilidad de utilizar una capacidad de procesamiento y una memoria absolutamente brutales, y un cerebro humano que aprende también mediante el uso de estadística.
En realidad, el cerebro humano aprende cosas en función de estadísticas – generalmente bastante simples – y es capaz de deducir de correlaciones de diversos tipos un aprendizaje que le permite explicarse fenómenos o hacer predicciones posteriormente. Pero como en el caso de los algoritmos, también son muchos los casos en los que nuestro cerebro «alucina» no en su acepción original, la de imaginar cosas que no existen o consumir sustancias estupefacientes, sino en la de atribuir a correlaciones aparentes un significado que va más allá del que tenían.
La forma en la que el cerebro humano «alucina» ante determinadas correlaciones puede ser afectada por muchos factores: por nuestra educación y conocimientos de estadística, por nuestros sesgos, etc. Para una persona que no sepa estadística, creer que la lotería de Navidad va a caer en tal o cual número en función de la ocurrencia de los números en los sorteos anteriores puede resultar hasta creíble y determinar cómo gasta (el o ella creerá que no gasta, sino que «invierte») su dinero cuando en realidad se trata de puro azar, del mismo modo que alguien que ve, por ejemplo, a una persona hablando con otra que no es su pareja puede alucinar pensando que tienen un lío.
Las personas se inventan información, a veces intencionadamente y otras veces sin querer. Cuando lo haces sin querer, suele ser el resultado de sesgos cognitivos o “heurísticas”: atajos mentales que desarrollamos a través de experiencias pasadas. Estos atajos nacen de la necesidad: en un momento dado, sólo podemos procesar una cantidad limitada de la información que inunda nuestros sentidos, y recordamos únicamente una fracción de toda la información a la que hemos estado expuestos, que pasamos a considerar representativa del resto. Nuestro cerebro usa asociaciones aprendidas para llenar los vacíos de información y responder rápidamente a cualquier pregunta que se nos presente. Simplemente, trata de adivinar cuál podría ser la respuesta correcta basándose en un conocimiento limitado, y cae en la llamada «confabulación«.
De una correlación se pueden extraer muchas cosas: lo hace nuestro cerebro muy a menudo, y lo hacen ahora también los algoritmos generativos: si no hay correlaciones significativas, tiran de las que no lo son. En realidad, los algoritmos también alucinan y confabulan a menudo (se calcula un 3% de incidencia en el caso de ChatGPT y hasta un 27% en el de Bard) para rellenar los huecos de información que se encuentran, pero no lo hacen para conservar energía, sino para hacer lo que les hemos pedido: generar una respuesta con la información que les ha sido suministrada en su entrenamiento. Podemos trabajar en la mejora del entrenamiento, suministrar información más completa o tratar de solucionarlo en forma de parche con restricciones ad hoc, y aún no está especialmente claro qué va a ocurrir con ellos: si se convertirá en algo que se puede solucionar o si será una característica que siga ahí y que pueda, incluso, dañar la credibilidad de este tipo de asistentes a medio plazo.
La cuestión que se deriva de esto, lógicamente, es qué ocurre cuando planteamos que, por muy eficiente que sea nuestro cerebro, que lo es y mucho, los recursos de computación de un algoritmo generativo crecen a una velocidad brutal, y pueden por tanto utilizar un nivel de sofisticación estadístico que no se limita a regresiones simples y a observaciones puntuales, sino que puede captar relaciones entre variables de todo tipo – incluyendo las latentes – que un cerebro humano nunca podría llegar a capturar.
De una u otra manera, el paralelismo es claro, y debería llevarnos a la reflexión: aunque no se basen en mecanismos idénticos, sí estamos aparentemente recreando un fenómeno, el del aprendizaje, que con sus obvias diferencias – la presencia o ausencia de conciencia o de motivación, entre otras – puede terminar dando lugar a asistentes enormemente potentes, capaces de cambiar ya no nuestra forma de trabajar, sino nuestra manera de entender el mundo. Pocas veces una palabra con una connotación en principio negativa – obviamente, no es bueno que un algoritmo «alucine» – se convierte en una forma tan interesante de entender el paralelismo entre el cerebro humano y la máquina. Y ahí lo dejo para que vayáis alucinando…
This article is also available in English on my Medium page, «What ‘hallucinations’ say about the parallels between generative algorithms and our brains»
El problema es que estos modelos son reacios a decir «no se», y aplican la logica de «si no se lo invento», especialmente en campos sobre los que se ha alimentado poco, hace unos meses me diverti preguntando a los tres chats por musicos peruanos de decadas pasadas, y era sorprendente ver como inventaban nombres de artistas, canciones, alterando fechas… todo en lugar de reconocer que no contaban con información relevante. En el fondo parece que estan replicando una conducta muy humana… mentir antes que reconocer la ignorancia.
Estoy seguro que el problema de las alucinaciones se va a corregir usando datos de entrenamiento de mejor calidad, mejorando la arquitectura cognitiva , o incluso usando al modelo de forma recursiva para que se corrija a si mismo.
Hay mucha investigación y mucho dinero invertido para que eso sea lo mas probable.
En cuanto a la comparación de la IA con humanos el problema que tenemos es que utilizamos como referente el humano mas inteligente y cualificado, pero si se compara con el humano medio, es decir, el cuñao del bar de abajo, la IA es ya una AGI en toda regla, y si no ponte a hablar con el cuñao de mecánica cuántica y verás.
Las personas no piensan como un algoritmo, ni con estadística , y pretender que los algoritmos lo hacen como las personas, es una alucinación del juicio, no de la estadística.
Qué tiene que ver con una pseudociencia religiosa, la singularidad tecnológica, de Ray Kurzweil. Es casi un culto transhumanista.
No se pueden crear paralelismos entre el cerebro humano y los chatbots, porque los chatbots no tienen ni idea de lo que dicen.
Lo que tampoco es infrecuente entre las personas, por otro lado, pero debido a «alucinaciones» mucho más clásicas y mundanas, como la ignorancia, el exceso de anfetaminas, medicación, y enfermedades mentales.
El cerebro humano no aprende nada en función de estadísticas y no sé de donde sale esa idea. Sin querer o no.
Si alguien tiene alguna duda de que el cerebro humano no es una «máquina», puede preguntarle a Ángel Martín, que ha aprendido un montón del tema, desde 2011, por propia y dolorosa experiencia.
–
Normalmente, las personas que tienen un trastorno mental son conscientes de sus alucinaciones después de un diagnóstico.
Es más fácil caer en el autoengaño y la racionalización que en la autoverdad.
Los algoritmos son «replicantes» (de mediocres versiones de homo sapiens) y, para colmo, tienen un algo de cuñados, que viene a ser casi lo mismo (mediocridad humana como versión HS). Lo leo por aquí.
Pero matizaría que cualquier cuñado de bar tiene bastantes neuronas mejor situadas, para discernir la realidad, que la mejor IA hasta ahora programada. Otra cosa es que la use peor, pero tampoco el programador de IA va a ser capaz de esmerarse mucho en ese proceso de aplicación/replicación neuronal (humano).
Y si, en vez de visitar el típico bar urbano, donde se masca la decadencia cognitiva del personal (algo adocenado por la «civilización» urbana), visitamos la típica tasca de pueblo, entonces conectaremos con seres humanos, poco tecnologizados, pero con una capacidad de usar su inteligencia natural por encima de la media «mediocre». Algoritmos incluidos.
Es decir, que son alucinaciones muy diferentes. En unas (humanas) interviene la química y millones de «ensayo/error», mientras que, en las otras, a saber como llamarle a ese intercambio de información algorítmica, tan rápida, electrificada y, muchas veces, dispersa.
Pero, como digo siempre, el cerebro no nos engaña, cuando creemos ver algo raro (alucinante). Solo hay un problema de descoordinación entre los diversos «departamentos operativos» del cerebro. De nada vale, por ejemplo, «creer» que vemos algo, que parece de igual longitud, porque somos incapaces de comprender, que se necesita medir algo, para realmente saber si tienen la misma longitud.
Una empresa donde sus departamentos de trabajo están descoordinados, no pueden pretende echarle la culpa a uno de ellos, cuando lo que falla es el controlador global. No saber de que pie cojea uno de tus departamentos , es la mejor forma de hacerte totalmente inoperativo. Y más si debes competir con otra empresa mejor coordinada.
Ojo al dato… O_O
OpenAI announces leadership transition
Chief technology officer Mira Murati appointed interim CEO to lead OpenAI; Sam Altman departs the company.
con 3 coj… por dedicarse a sus «alucinaciones»en vez de ser el currito número 1 de OpenAI…
Estoy convencido que «de momento» el cerebro humano encuentra formas de hacer decir tonterías a la s AI. Esta ar tarde he estado en casa de una migo que tiene instalado «Alexia» y todos nos hemos estado divertido tomando el pelo a Alexia, Indudablemente Alexia es la prima retrasada mental de ChapGPT, pero este tampoco es un cerebro capaz de descubrir la pólvora, (de momento).
Pero lo cierto es que si no le buscas las cosquillas, que evidentemente las tiene, como es preguntar por músicos perueanos del siglo pasado, sino que le buscas respuestas a tus problemas del día a día, mi experiencia es que el número de errores que comete es realmente mínimo. (aunque loa confirme por si acaso la respuesta de otra forma).
No llego a entender por qué tantas personas tiene prevención a sus respuestas, cuando los medios tradicionales de consulta, como la Enciclopedia, o las respuestas que da Google, tampoco dan una mayor fiabilidad a las respuestas.
Sin embargo, no veas que goles mete «Alexia».
Me niego a hacer chistes sobre la Putella y sus goles, son demasiado fáciles.
Desde que apareció ChatGPT interactúo prácticamente a diario con esta y otras «inteligencias artificiales». Al menos en mi caso, te hace darte cuenta de lo limitadísima que es nuestra forma de procesar la realidad precisamente por no poder abarcar y contrastar suficiente información.
¿Qué ocurrirá cuando la IA pueda entrenarse procesando datos que recibe en tiempo real? ¿Y cuando sus alucinaciones sean estadísticamente inferiores a nuestros sesgos cognitivos?
Seguramente no hará falta que sea realmente «inteligente» para que pueda tomar decisiones mejor que nosotros en cualquier ámbito. Pero lo que tengo claro, es que el objetivo de esas decisiones, siempre se lo va a marcar alguien: ya sea salvar a la humanidad de una catástrofe ambiental o exterminar al enemigo de quien le da instrucciones.
Estamos utilizando una tecnología de dioses, con un cerebro que en nada se diferencia de quienes vivieron en el paleolítico.
En efecto, tenemos un cerebro paleolítico, pero con ese cerebro algunos, no todos, son capaces de pergeñar Hamlet. o diseñar el Taj Mahal.
Si, pero me refiero a los mismos sesgos, las mismas limitaciones, las mismas emociones, pasiones y motivaciones. Podemos ser muy creativos y racionales, pero también muy destructivos e igualmente irracionales.
¡Hombre!, Después de dos guerras mundiales, (y en puertas de la tercera), yo estoy por darte la razón de que tenemos un cerebro destructivo.
Debido a la expectativas de los usuarios con los estos algoritmos, ellos no tiene paciencia que sus interacciones se detengan, y muestren un mensaje de error, porque en este caso los usuario abandonan el uso de estos. De ahí que se permiten que estos expongan resultados erróneos solo que ahora los llaman «alucinaciones».
Los algoritmos y máquinas no «alucinan», tampoco tienen conciencia simplemente generan resultados incorrectos por falta de información o un insecto por un único error al escribir código, lo cual lleva como Pac-Man elimina la mitad de la pantalla o Minus World de Mario, pero son interpretados como errores porque el usuario humano tiene un resultado diferente al esperado.
Esto es algo que se sabe desde el inicio de la informática y por eso en PC, siempre se hace uso de ocultar un desastre de insectos por medio del color azul con un genérico mensaje de error.
—–
Nota al final
insectos=»bugs»
Ya lo dije en su día y por varias veces: llamarle alucinaciones es no tener ni pajolera idea de la estructura de la alucinación. Vamos, es un insulto en toda regla y sin ir más lejos, a la psiquiatría. La psiquiatría clásica, of course, no a la psiquiatría contemporánea que tampoco tiene ni pajolera idea de nada y por eso pronto será sustituida por una IA con muchísimo mejores resultados. (Por eso los psiquiatras no han dicho tampoco ni pío de este uso torticero e inapropiado del término alucinación)
Que la IA generativa degenere en fabulaciones (que no en alucinaciones, ya le «gustaría» a la IA, -esa petarda-, alucinar), es lo más normal del mundo al estar «construida» como un conjunto coherente de representaciones, o sea, una fotocopia mejorada del yo del ingeniero/programador de turno.
Y como alguien ha dicho, en un conjunto coherente de representaciones, no cabe un «no sé». Exactamente igual que cuando en el siglo XIX se hipnotizaba a alguien para que cumpliese una orden, (salir a la calle con un paraguas a pleno sol), cuando se le despertaba con el paragüas en la mano, el fulano se deshacía en explicaciones, a cada cual más extravagante, para dar cuenta de algo que no podía explicar…, precisamente porque lo habían hipnotizado. Nadie de aquella época, jamás, se le ocurrió decir que el sujeto de ese experimento «alucinaba», porque de haberlo dicho le hubiesen perseguido a hostias por toda la comunidad científica de la época. Menuda vergüenza.
Saludos.