Me ha resultado muy interesante la lectura de este estudio llevado a cabo por la compañía polaca Tidio sobre las alucinaciones de los algoritmos, titulado «When machines dream: a dive in AI hallucinations« (pdf), en el que se define de manera bastante adecuada y se tipifica el fenómeno, además de añadir una cierta investigación sobre las reacciones de los usuarios.
El fenómeno de la alucinación de los algoritmos es bien conocido desde hace ya mucho tiempo, y se debe únicamente a problemas derivados de la estadística, similares a los que tienen lugar, a una escala completamente diferente, al de la multicolinearidad que surge cuando se trabaja con variables con elevados niveles de superposición. Ese mismo tipo de efectos, cuando elevamos de manera absolutamente brutal el número de variables hasta los miles de millones y, por tanto, la posibilidad de aparición de correlaciones de todo tipo, hacen que, en muchas ocasiones, los algoritmos nos devuelvan respuestas que pueden ir desde lo completamente falso o incluso lo difamatorio cuando se trata de personas, hasta cosas divertidas o que parecen directamente sacadas de un mal viaje con LSD.
Me parece preocupante el número de personas, un 22%, que se apuntan a creer que estamos hablando de respuestas generadas por algún tipo de gobierno o entidad que pretende, supuestamente, divulgar una agenda determinada. Ver las alucinaciones de los algoritmos como algo así implica, aparte de una fortísima inclinación a la conspiranoia más absurda e insostenible, la evidencia de no tener ni maldita idea de estadística básica.
La única forma de luchar contra el problema potencial que supone la incidencia de alucinaciones en algoritmos generativos, aparte de trabajar en la mejora de sus prestaciones para ser capaces de detectarla, es la educación. Que un algoritmo alucine y nos devuelva una respuesta absurda deja de ser un problema cuando dejamos de interpretar al algoritmo como algún tipo de «inteligencia superior» o «referencia» y lo entendemos como lo que realmente es: un artefacto estadístico que busca y examina correlaciones, y que cuando no encuentra una muy convincente, trata de encontrar otra que lo parezca. Por tanto, la tarea de comprobar las respuestas, de desconfiar de los resultados obtenidos y de no tomar nada como seguro hasta que hayamos podido verificarlo adecuadamente resulta fundamental.
Que cuando empezamos a utilizar algoritmos generativos se nos pueda escapar una alucinación como si fuera una respuesta real puede ser algo que entra dentro de lo posible: usuario inexperto, algoritmo sorprendente y casi «mágico»… toda tecnología suficientemente avanzada es, como bien decía Arthur C. Clarke, indistinguible de la magia. Que nos siga pasando tras un proceso de educación en el uso adecuado de algoritmos generativos es ya un problema diferente, que tiene más que ver con la vagancia o la inconsciencia propia de quien no ha aprovechado esa instrucción.
Es una de las razones por las cuales introducir una tecnología como los algoritmos generativos en la educación resulta fundamental. Debemos evitar lo que ocurrió con internet, que a fuerza de ignorarlo y hasta prohibirlo en los colegios, terminó siendo algo que los jóvenes se contaban unos a otros, lo que redundó en una ignorancia absoluta de sus peligros y de sus posibilidades. Los supuestos «nativos digitales» terminaron siendo «huérfanos digitales» a los que nadie se había preocupado por dotar de una educación en el uso de una tecnología verdaderamente potente. Si nos ocurre lo mismo con los algoritmos generativos, estaremos de nuevo repitiendo el mismo error, y fallando a la hora de preparar a la sociedad para el uso de una herramienta potencialmente muy buena.
Si eres profesor y no estás planteándote ya cómo introducir los algoritmos generativos en tu materia, hay algo que no estás haciendo bien. Pero claro, años de ignorancia, de conservadurismo y de prohibiciones absurdas de dispositivos en muchos entornos educativos no nos lo han puesto nada fácil…
This article is also available in English on my Medium page, «Don’t freak out when your machine hallucinates…«
Vaya, alucinación y profesorado de nuevo, y sin tomar LSD: totalmente ligado a la «profefobia» , que algunos se han inventado, como nueva pandemia insuflada por madres de alumnos (sobre todo).
«no tomar nada como seguro hasta que hayamos podido verificarlo adecuadamente» (EDans)
Y vale para noticias, mensajes políticos (o religiosos), comidilla entre compañeros de trabajo… y, por supuesto, la opinión de gurús que, cual viejitas del barrio, nos sueltan la última chorrada pseudocientífica. Como parece haber ocurrido hace poco con esa «planificación de los megamillonarios» terrestres, por buscarse su esplendorosa vida en planetas lejanos y desconocidos.
Y por el medio la palabra «mágica» desenvainada por el Arthur… algo que no ha entendido (en su profundidad) la mayoría de sus lectores. Ya que se comprueba como, luego, caen en la trampa tecnológica como conejos (incluso siendo «nativos» digitales).
Y por eso se le hace tan duro a la gente acercarse a materias como la Mecánica Estadística. Y luego les aterra un simple algoritmo, como si del monstruo de Frankestein se tratara. Siempre matarlo antes de entenderlo. Típicamente humano (mediocre).
Estoy seguro de que al hacer la tópica comparación entre un algoritmo y una cría humana, que está frente a ti esperando una interacción positiva (con ella), es como chino mandarín, para un chino civilizado en USA tras tres generaciones de inmigrantes.
Preguntarle a un LLM es como preguntarle a ese amigo sabelotodo que normalmente te da una respuesta aceptable pero a veces mete la pata hasta el fondo.
Yo ya estoy enseñando a mi hijo de 8 años que hay que comprobar lo que dicen estos algoritmos. Él mismo ha podido comprobarlo alguna vez que ha preguntado por temas que conoce bien.
Ningún niño de 8 años debe utilizar sin acompañamiento un chatbot destinado crear la ilusión de que es un ser real.
Nos pasamos el día viendo a adultos alucinando con tecnologías que no llegan a comprender, ni entender su funcionamiento real, y desarrollando comportamientos desadaptativos en redes en sociales, como para correr el riesgo de exponer a los niños a herramientas de este tipo a una edad temprana, en la que se está formando su personalidad, y limitar el desarrollo de sus propias habilidades sociales, y de interacción social real, fuera de una burbuja social y de comunicación.
Un chatbot no «alucina» porque su único propósito es crear esa ilusión de ser omnisciente y desplegar una apariencia de entendimiento o conocimiento, es un generador de conversaciones, no una enciclopedia o un algoritmo capaz de un insight (introspección) de lo que vierte en las mismas.
la generación de los contenidos de un chatbot están destinados a mantener conversaciones sobre cualquier tema, de forma ineficiente y ambigua, no a fundamentar un razonamiento o los conocimientos adquiridos al azar.
Es lo que se conoce como “small talk” y tiene su función social para permitirnos comunicarnos con el frutero de la esquina o con el peluquero, aunque no compartamos una educación o cultura común.
Cualquiera que tenga experiencia en chatbots, sabe que, siempre, se generan esas conversaciones estrafalarias y aberrantes, y que el machine learning no puede mejorar lo que, en el fondo, solo es una charla hueca.
He visto a adultos asumir que estaban hablando con una persona real «que les entendía y comprendía mejor que nadie» con chatbots realmente primitivos, y aunque intentases persuadirles de lo contrario y que solo era una máquina destinada a crear la ilusión de una conversación, persistían en esa creencia.
Hay personas que realmente creen y defienden que en 2045 esas máquinas serán seres sintientes y autónomos. (hay quien lo hace con mascotas)
El lenguaje tiene una función social, no solo de comunicación, sino que nos permite establecer canales de relación social.
Quien crea una farsa, tiene que vivir en ella.
(es la raíz de gran parte de la literatura de Shakespeare)
Los niños no se merecen eso. Merecen desarrollar su propia imaginación y aprender a adquirir conocimientos de forma espontánea y natural.
–
Y sí, el discurso de una persona es un buen indicador de muchos tipos de trastornos psicosociales, completamente humanos, y los chatbots, también reflejan esos sesgos.
Buena similitud.
«que parecen directamente sacadas de un mal viaje con LSD.»
OJO Cuidado como se reciben los mensajes, Enrique no está diciendo que haya buenos buenos viajes con las drogas. Del mismo que la IA aunque parezca que no falle manipula y dirige a su forma de «pensar» es decir, lo que le han dicho que diga sus entrenadores. No hay buen viaje con una IA, con un empresario aficionado al mobbing, con un maltratador psicológico o con un porrero con pasta (Melón)
Hablando con un profesor del tema, el sábado, ya no mandamos trabajos para casa. Mi respuesta todo lo contrario, ahora tenéis que enseñarles a usar chatgpt, wikipedia, que detecten fallos, límites, como suplir sus deficiencias. La IA no es mala, es un poco el cuñado tonto que todo lo sabe y nada conoce
Como algunos comentaristas me han echado de menos y se ha extendido cierto halo de, «se ha muerto», hasta el punto que el propio Edans ha tenido la amabilidad de mandarme un email preguntando que tal estoy.
Deseo en primer lugar dar las gracias a quien se han preocupado por mi ausencia y en segundo lugar informaros, que mi ausencia es voluntaria, ni Dans me ha aplicado la «cultura de la cancelación», ni mi médico de cabecera me ha aconsejado que no me altere, Simplemente decidí de tratar discretamente dejar de participar como comentarista , (aunque sigo leyendo el blog), La razón se la expliqué a Dans, y considero que dadas las circunstancias, debo hacerla pública.
Enrique Dans
dom, 1 oct, 23:35 (hace 15 horas)
para mí
Hola Gorki!
Se te echa mucho de menos por la página, de hecho, lo han dicho ya varios comentaristas… ¿ha pasado algo? ¿Está todo bien?
Abrazote,
Enrique
«Nada en absoluto, te sigo leyendo, pero he dejado de participar (por el momento).
Muchas gracias por tu interés, Me hizo el efecto, que me había transformado en el Pepito Grillo de tu blog y pensé que mi aportación había dejado de ser interesante. Con los años uno se transforma en un viejo cascarrabias, pero los demás no tiene por qué sufrirte
Saludos a ti y a los seguidores. Os leo
No estar de acuerdo y con gracia, es algo que debemos agradecerte todos
¿Y que es un blog sin su Pepito Grillo de turno?.
Ya te compenso yo que le suelo dar la razón en casi todo a EDans.
Hacen falta Pepitos Grillos como tu y pelotas como yo. :))
Tu diras lo que quieras… pero esto no es lo mismo sin ti… :P
Ciertamente Gorki, los comentarios no son lo mismo sin ti.
Es un arte elegir el momento en el que irse discretamente de la fiesta, sin perderse lo mejor pero antes de que la cosa degenere.
Yo creo que Gorki, cómo casi siempre, tiene la mirada más larga que el resto de nosotros.
So long, Gorki
Al igual que muchos de nosotros lectores del blog del profesor Dans, Gorki nos alegraba con sus comentarios acompañados siempre desde su punto de vista muy único y en base a su experiencia en el sector tecnológico. Si desea volver con sus comentarios Gorki aquí los presentes te esperaremos!
Gracias. Puede que intervenga pero siempre a favor de la tesis de Dans, (si estoy de acuerdo con lo que dice). Me he aburrido de ser de la oposición.
Hoy por ejemplo estoy a favor del uso la LLM en la enseñanza, pese a reconocer que de vez en cuando pueda tener «alucinaciones», Lo mismo le pasaba a las enciclopedias y nadie le parecio mal que los estudiantes consultaran el Espasa pese a sus errores puntuales.
Copio
Debe advertirse además que, como es natural en obra tan extensa, los errores son abundantes, y constituye un buen entretenimiento perseguir gazapos que, procedentes del Espasa, reaparecen una y otra vez de la mano de autores poco cuidadosos que no contrastan los datos y creen en su ingenuidad cuanto está impreso.
Gorki, no te autoexcluyas. Me alegro de que te encuentres bien. Tus opiniones a favor o en contra son siempre bienvenidas. Es claro que con el tiempo lo que uno piensa va evolucionando y eso es usualmente algo positivo. El mismo Enrique antes parecía del PP, pero desde hace un buen tiempo está en una línea similar a la de los Verdes alemanes. Y en cuanto a lo de cascarrabias, nunca me ha parecido que lo seas; y si lo fueras, eso no cambiaría el hecho de que todos apreciamos tu presencia y participación.
¡Hey!, los viejos cascarrabias también tenemos nuestro valor, ¿quién si no va defender la energía nuclear o los interfaces de texto ante los furibundos ataques del sr. Dans? :-D
Tengo entendido que Open AI ya está implementando en la propia IA una supervisión de procesos interna mediante la cual se entrena a los modelos de IA para recompensarse a sí mismos cuando siguen un camino coherente de razonamiento en lugar de premiar solo la conclusión final.
Este enfoque se llama supervisión de procesos y tiene como objetivo hacer que la IA sea más explicativa y tenga un razonamiento más parecido al humano, aprendiendo de sus propios errores en su proceso interno de llegada a conclusiones erróneas.
Así que entiendo que , si bien las alucinaciones no desaparecerán por completo se minimizarán a un punto que haga al sistema mucho mas fiable de lo que es ahora.
«la tarea de comprobar las respuestas, de desconfiar de los resultados obtenidos y de no tomar nada como seguro hasta que hayamos podido verificarlo adecuadamente resulta fundamental.»
¿Esto no se llamaba pensamiento crítico? Una vez se enseña, vale para todas las cosas: AIs, políticos, prensa…
Pues de eso va este artículo (y el anterior del mismo tema)…
Lamentablemente, no vamos bien…
En el articulo anterior he puesto un video, creo, significativo…
Aqui La evolución de la educación
Gracias Gorki con tu comentario! Efectivamente antes se consultaban las enciclopedias y aún así traían errores los cuales se verificaba a través del pensamiento crítico que dice F3R. Ahora con las tecnología en su punto más alto de su creación lo único que están generando estos las alucinaciones
de estos algoritmos es desinformar y confundir a las personas y en especial a niños y adolescentes que prácticamente han perdido ese pensamiento crítico que deberían aprender y cultivar por medio de sus padres y profesores, creando un espacio donde las redes sociales y el internet es un mundo paralelo, confiable y creíble para ellos… Terrible! y ahora con lo que presentó Mark quiere convertirnos a todos en clones que trabajen para su empresa…mismo Black Mirror esta loco.
Si los niños han perdido su pensamiento critico, (algo de lo que no creo), no será debido al abuso de la MLL, sino a una mala enseñanza, con o sin uso de MLL.
Vuelvo a insistir, y no me cansaré de repetirlo, cada vez que se dice que los algoritmos «alucinan» se muestra con ello una ignorancia (en lo que supone el complejisimo tema de las alucinaciones) de un calibre épico.
en fin…
Soy profesora universitaria y llevo planteándome desde el año pasado cómo introducir los algoritmos generativos en mi materia (ya que lo considero fundamental en la formación de mi alumnado) y, unido a ello, cómo establecer un sistema de evaluación garantista que conviva con la introducción en el aula de dichos algoritmos… ando dándole vueltas a varias posibilidades y da para un buen debate. Dans ¿para cuándo un post sobre ello? ;))