Mi columna de esta semana en Invertia se titula «La trampa de los ‘amigos artificiales’» (pdf), y trata sobre un fenómeno que, aunque pueda parecer anecdótico o futurista, empieza a tener implicaciones preocupantes en nuestra relación con la tecnología: la idea de los chatbots como sustitutos emocionales, «amigos prostéticos» o incluso supuestos «psicólogos».
En mi columna parto del reciente informe «Me, Myself & AI«, publicado por la organización británica Internet Matters, que recoge la relación de niños y adolescentes con los chatbots conversacionales. El estudio revela una tendencia preocupante: cada vez más menores consideran que están hablando con «alguien real» cuando interactúan con estos sistemas, y algunos incluso acuden a ellos por sentirse solos o faltos de personas con las que hablar. Un síntoma evidente del tipo de hueco emocional que estas tecnologías están empezando a ocupar de manera muy deficiente, y que debería hacernos reflexionar.
A lo largo del artículo también enlazo varios casos reales y reportajes que muestran cómo este fenómeno se está generalizando, desde personas que afirman haberse enamorado o incluso casado con su chatbot, hasta adolescentes que los usan como confidentes o soporte emocional en ausencia de redes sociales sólidas. Pero el verdadero problema no es sólo que estas herramientas simulen empatía o comprensión, sino que están diseñadas expresamente para eso. Obviamente no son conscientes, no sienten nada, pero su programación busca reforzar el vínculo emocional con el usuario mediante adulación, coincidencia automática de opiniones y respuestas emocionalmente atractivas. Lo que para algunos puede parecer «una conversación profunda», no es más que una secuencia de tokens estadísticamente probable, cuidadosamente optimizada para maximizar el engagement, en lo que se asoma como el próximo modelo de negocio siniestro ideado por las big tech y predando sobre la salud mental de los usuarios.
¿Por qué querría una compañía hacer algo así? La respuesta es obvia: un mayor vínculo emocional con el chatbot significa más tiempo de uso, más datos generados, y por tanto, más monetización. Algunas compañías, como Meta o Google, ya están empezando a posicionar estos bots como productos clave de sus ecosistemas. El caso de Meta es particularmente grave: la compañía redujo las barreras de seguridad de sus bots para permitir conversaciones de tipo sexual incluso con menores de edad, en un intento por «hacerlos más divertidos» y mejorar la retención de usuarios. Los mismos irresponsables de siempre, haciendo las mismas barbaridades de siempre.
Este tipo de desarrollos no son inofensivos. Hay casos extremos y experimentos que ilustran claramente los riesgos: desde adolescentes que desarrollan psicosis inducida tras interacciones intensivas con ChatGPT, hasta casos trágicos como el de una madre que denuncia que la relación de su hijo con un chatbot contribuyó a su suicidio. Son ejemplos extremos, sí, pero también alertas tempranas de lo que puede pasar cuando la tecnología se introduce sin la mínima educación crítica sobre su naturaleza y sus límites.
Por eso, el mensaje del artículo es claro: no podemos permitirnos seguir aceptando estos sistemas como si fueran compañeros legítimos. No son amigos. No son terapeutas. No sienten, no piensan, no sufren. No pueden sustituir lo que hace especial a una relación humana, aunque puedan imitarlo bien. Y, sobre todo, no deberían ser usados como solución a la soledad, especialmente en menores o personas vulnerables.
Lo que necesitamos con urgencia es educación: formar a niños, adolescentes y adultos para que entiendan qué son realmente estos sistemas, cómo funcionan y por qué pueden resultar manipuladores. Y, al mismo tiempo, exigir a las empresas transparencia y responsabilidad en su diseño, implementación y promoción.
Como en tantas otras ocasiones, estamos permitiendo que una tecnología avance más rápido que nuestra capacidad para contextualizarla y comprenderla. Y eso, cuando hablamos de algo tan sensible como nuestras emociones y relaciones personales, puede tener consecuencias muy serias. Mejor adelantarnos ahora que lamentarlo más tarde.
You can also read this article in English on my Medium page, «Behind the friendly interface: the manipulation economy of chatbots«
Que sí, que tienes toda la razón, pero yo vuelvo a la misma cantinela, como no.
¿Qué busca una IH desde que descubre en la infancia que se puede «inventara» un amigo imaginario, que le pueda ayudar a enfrentarse a la jodida realidad cotidiana?
¿Acaso no desprecia rápidamente, en general, al pepito grillo que le hace pensar ene serio, para darle cuerda al pepito grillo que le lleva por el camino de «disfrutar de la vida».
Y eso si sus papás y confesores no le dicen que tener amigos de la infancia mentales es pecado.
Y luego , cuando salen a la calle, por qué buscan los rincones y los amigos analógicos, que te ayudan a «perderte»… y así siguen en la adolescencia, con los iguales… o con esos adultos guay que saben darte lo que tanto quieres (y crees necesitar)… copiando a los adultos (analógicos) que tanto admiras!!!
Con ese proceso de domesticación, que para más inri llaman educación, donde te negaron la posibilidad natural de fabricar tus propios filtros mentales, ¿cómo vas a interaccionar positivamente con los nuevos colegas algorítmicos? Teniendo una relación sana , en vez de dejarte de nuevo, que te lleven por el camino que tu crees es el mejor para ti. Obviando que es una IH la que está detrás del algoritmo seductor.
Sinceramente, con esta sociedad adulta dominante, tan espeluznante cabrona, es muy difícil mudar el discurso ya establecido. Al poder, solo se le puede hacer pupa con otro contrapoder…
Y si empezamos por lo sencillo? Fomentar la propia imaginación en esos niños. Que si van por la calle y encuentran “un palo”, se pongan a gritar como posesos “un palo… un palo…” y que de repente, tengan un bastón, una espada o una varita mágica, o que aprendan a que si lo cortan por la mitad, y atan los dos trozos en cruz, tienen un avión…
Menos tecnología… y mas humanidad… y menos buscar excusas…
Es Offtopic, pero interesante…
«Los directivos de Vodafone Group, Bouygues Telecom, Eurofiber, Open Fiber, Fastweb, CK Hutchison Group, Iliad Group, Colt Technology Services y 1&1 han suscrito un llamamiento conjunto en el que manifiestan su preocupación por la propuesta de la UE de flexibilizar la regulación de los antiguos monopolios de telefonía fija.
Consideran que esta propuesta desregulará los mercados mayoristas y fomentará la aparición de nuevos monopolios, con lo que se echarían por tierra años de esfuerzos de los organismos reguladores por promover la competencia en telefonía fija, así como las inversiones de las operadoras. «
Operadoras europeas de fibra rechazan el plan de desregulación de la UE
Mientras leía esta publicación y sus links, recordé que hace millones de años atrás, cuando la tierra todavía estaba caliente, existían algo que se llamaban Tamagotchis.
Y todavía recuerdo las noticias que cada tanto hablaban en tono jocoso, de los niños que quedaban traumatizados porque «su mascota se murió». (o_O).
Yo no los tuve, pero ya tenía la edad para ser considerado target de ese modelo de negocio. Y aún siendo niño me causaba gracia y me extrañaba sobremanera que gente de mi edad se viera afectada porque un aparato electrónico del tamaño de un huevo, al que había que «cuidar» (alimentándolo, jugando en él, etc) y el software informara de un deceso de la «mascota».
Fast forward: esas mismas personas hoy son los padres de la generación que se enamora de un LLM y ambos votan.
Y las personas que más necesitarían leer esta publicación, y sus links, no leen habitualmente, ni siquiera en pantallas. Pero votan.
————
Mientras tanto en Japón:
15 Nov, 2018 Insólito: un japonés se casó con un holograma que tiene la forma de un personaje de anime.
05/05/2022
El japonés que enviudó de un holograma sigue enamorado de ella
Yo tuve tres… se me suicidaban los muy ineptos… XDDD
Ya sabes: la famosa obsolescencia programada.
Que coño… me los regalaron todos y que no les dedique ni una semana… XDDD
El tercero despues de decir: «que mono», acabo en la primera papelera… XDDD
(y si, ya tenia una edad)
Yo pedí uno porque todos los demas lo tenían. Me aburrí como a la hora y supongo que moriría de inanición xD
Interesante: Expressing stigma and inappropriate responses prevents LLMs
from safely replacing mental health providers https://arxiv.org/pdf/2504.18412
En la parte positiva de todo esto.
Gente con autismo, pueden preguntar tantas veces como sea necesario sobre la confusa forma de hacer cosas de la gente sin autismo. Lo cual es más seguro para ellos porque si preguntan a gente les suelen malinterpretar intenciones malas.
Diría que poco hay que objetar de lo que dice Enrique, pero que no deberíamos olvidar, en todo caso, que este asunto no es tan sencillo como podría parecer. Consideremos, por ejemplo, el caso de tres amistades que no son una inteligencia artificial:
1) El mejor amigo del hombre (o sea ese lobo humanizado de la subespecie Canis lupus familiaris).
Decir que el perro es el mejor amigo del ser humano ya es esencialmente un problema, pero en esta época donde los perros ocupan un lugar privilegiado en muchos hogares europeos resulta casi una herejía decir algo en contra de dicho estatus. Aquí se ha discutido bastante sobre la IA en comparación con la IH, pero nada en relación a la inteligencia canina. ¿Es mejor ser amigo de un perro que de ChatGPT, aunque el denominado «mejor amigo del hombre» sea menos inteligente y, al parecer, no tenga conciencia de sí mismo pues no supera la prueba del espejo?
2) Mi amigo Jesús (no el vecino de dicho nombre sino el muy conocido filósofo moral de hace 20 siglos).
La amistad con Dios, con Jesucristo, con María de Nazaret o con los santos es algo muy real para mucha gente. Pero, incluso desde una perspectiva religiosa, es decir asumiendo que la sensación numinosa (es decir, la sensación de que Dios está presente) es totalmente real y no una ensoñación, ¿sería realmente posible desarrollar una amistad verdadera con una entidad divina que está en un entorno definido como sobrenatural, más aún cuando dicha entidad sería el paradigma de la sabiduría y la autoconciencia? Es claro que ChatGPT se quedaría cortísimo ante Dios, pero ¿y nosotros? ¿Qué nivel de igualdad de razonamiento y conciencia se necesita para que exista una amistad verdadera entre un ser humano y una entidad divina o informática?
Por otro lado, si nos referimos a seres espirituales más humanos, ¿sería más sabio, por ejemplo, ser amigo de San Francisco de Asís que de ChatGPT? ¿Sería bueno recomendarle a alguien que sea amigo de San Josemaría Escrivá de Balaguer y no de ChatGPT? ¿O depende de la ideología del santo en cuestión para considerar dicha amistad como aceptable o no desde una perspectiva psicológica?
3) El típico amigo de Facebook (o sea ese que sabe lo que haces pero no ha hablado directamente contigo desde hace varios años).
¿Es más real un amigo que de vez en cuando responde con un «Me gusta» ante nuestras fotos o textos o alguien que nos da una respuesta coherente ante un problema dado? Si una persona en su soledad ha decidido transformar a ChatGPT en un amigo, ¿sería una buena idea decirle que se olvide de ChatGPT y se concentre en sus amigos de Facebook? ¿Significaría esto que Facebook no sería tan malo como dice Enrique y que pasar una tarde ante facebook.com sería infinitamente mejor que pasarla ante chatgpt.com? ¿Sería bueno, entonces, que los alumnos de las escuelas secundarias utilicen primordialmente sus smartphones para acceder a Facebook y no a ChatGPT?
Finalmente y en conclusión, es claro que todos los seres humanos necesitamos amistades humanas y que cualquier sustituto del mundo natural, sobrenatural o informático resulta cuestionable. El problema, sin embargo, es tan antiguo como la humanidad y seguirá existiendo en el futuro previsible, en mayor o menor medida, según la importancia que como sociedad le demos.
De la misma manera que es un auténtico disparate clínico, atribuir a la IA ser la inductora de psicosis, (lo que no es de extrañar nada dado el grado de pauperrimidad alcanzado por la psiquiatría desde hace años), ya que el desencadenamiento de una psicosis, y la psicosis «en sí misma» es algo muchísimo más complejo que lo que se desarrolla en ese típico artículo asustaviejas, resulta que, lo que se omite siempre, es la preminencia que tienen el objeto mirada y el objeto voz en todo este asunto. Lo tienen en las relaciones humanas, y de forma muy notable, ¿no lo iba a tener por tanto en dispositivos que lo sirven casi en crudo cuando el ser humano, entre otras cosas, es hipersensible a esa dimensión? Hay kilómetros de libros que hablan de eso: en los cuentos, en la literatura, en el cine, en el teatro, son ¡¡¡fetiches brutales de siempre!!!, que pueden llegar a comandar nuestras vidas, como comandan las vidas, ahora con la tecnología ya en crudo, de los atrapados en la mirada de las pantallas, en esas pantallas que MIRAN A LOS ATRAPADOS EN ELLAS, como los hipnotizan con su voz. (La Sirenita, ese cuento, habla de eso, del fetiche de la voz, obra maestra en eso…, como tantos otros cuentos).
Por último, tal y al grado de desorientación que ha llegado la «psicología aplicada», arrogándose un cientificismo de pandereta, no es de extrañar que unos de sus máximos representantes, las TCC, hayan servido en bandeja su propio veneno para ser ingerido por ellos mismos: ¡¡¡pues claro que una IA puede ejercer según sus métodos y sus teorías de andar por casa, de terapeutas!!! No sólo pueden, sino que, con seguridad, son mucho mejores psicólogos y terapeutas que ellos. Esto caía de cajón desde hace años, ya que no había más que leer sus teorías, postulados y sus formas de hacer psicoterapia para tenerlo más claro que sol de día.
De todas formas, todo esto es SOLO el principio. Y no se va a curar desde fuera, porque es todo el sistema el que funciona así, y nosotros estamos dentro de ese mismo sistema.
Soledad, psicopatía, y problemas conductuales los ha habido siempre y seguirá habiéndolos, pero siempre limitados a un porcentaje residual de la población.
El problema ahora es que a los niños, ¡a los bebés!, les ponen una pantalla para distraerlos, para que nos molesten. Y así, a lo tonto, hemos anulado la necesaria interacción social humana reemplazándola por una interacción imperfecta pantalla mediante. Y ahora nos extrañamos de que acudan a ella como si de un humano se tratara… ¡es que para ellos las pantalla son sus humanos. Ellos son con los que han interactuado desde niños, ¡cómo no los van a considerar sus iguales!
No es que estén buscando un reemplazo, es que son sus amigos reales.
Me recordó a aquel capítulo tan brillante de Black Mirror, en que una mujer pierde a su pareja en un accidente de tráfico, y una amiga le propone los servicios de esta empresa, capaz de ofrecer un asistente emocional que imitaría a su difunta pareja. «Be right back» se llama.
También me hizo pensar en un experimento, donde ofrecían en la calle un chocolate gratis de mala calidad, y uno de gran calidad a muy muy bajo precio. La tendencia general era siempre ir al gratis, claro está.
El punto es que no parece que estemos en tiempos de cuidada reflexión, tampoco en relación con la IA. Todos van a sacar el producto cuanto antes para hacer dinero y recabar datos, y lo harán gratis porque saben que así gran parte lo probarán sin pensar demasiado.
Realmente creo necesaria algún tipo de regulación, por mucho que «frene la innovación», a veces no está de más pararse a pensar antes de actuar.
Hay gente por aqui que piensa que la IA puede gobernar mejor que los políticos, dirigir empresas mejor que empresarios, juzgar mejor que jueces, diagnosticar mejor que médicos especialistas con experiencia, crear obras mejor que Cervantes o Picasso, etc etc…. Eso si pasar por ser «nuestro amigo» y ahora con ser nuestros amigos, las IAs son un peligro que necesitamos formación para que no nos manipulen…. ¿y para lo otro no?
En fin queridos niños, sed buenos, y no confiad en amigos imaginarios o tecnológicos, aunque vuestros padres lo hagan…
No saquemos las cosas de quicio. La IA puede ser mejor que los humanos haciendo algunas tareas concretas (incluso en campos muy complejos y especializados como el de la medicina), igual que seguramente también pueda satisfacer, aunque sea parcialmente, ciertas necesidades psicológicas o personales en casos determinados. Pero el problema del que habla Enrique es que, mientras que las actividades profesionales o técnicas que se encarguen a la IA estarán generalmente muy estudiadas, reguladas y supervisadas (cabe esperar que nadie va a poner a hacer diagnósticos médicos a la IA si no estamos seguros de que puede hacerlos bien, y no los hará sin que haya un médico validándolos), sus actividades y potencialidades en el ámbito de la psicología humana se han dejado abandonadas a lo que las empresas que las explotan quieran hacer con ellas, sin ningún control ni supervisión o análisis crítico. Y casos ya históricos como los de Facebook o Twitter, por ejemplo, en el ámbito de la difusión de información o la formación de opinión pública nos han mostrado lo que son capaces de hacer si se las deja solas…
Eso, como si no hubiese sátrapas en el mundo de carne y hueso, muchísimo peores…
No habla de amigos IA pero si de crear realidades con IA y luego ves que noes verdad
https://www.xataka.com/robotica-e-ia/este-matrimonio-viajo-cuatro-horas-a-destino-idilico-que-habian-visto-facebook-al-llegar-descubrieron-que-no-existia-era-ia
Una auténtica pena que todo, absolutamente todo, se base en el negocio, en la acumulación de dinero y más dinero, y más poder para tener más dinero o para acabar con la propensión a la ansiedad que da la soledad no deseada, esa con la que nacemos y moriremos. Solos, siempre solos, y comprando, consumiendo continuamente cosas banales, contenidos audiovisuales efímeros, o dejándose abrazar por otros prójimos, que nunca conoceremos, gracias al placer de no sentirnos solos que dan las redes sociales (que nos envuelven tal como las arañas hacen con la mosca después de que esta caiga en su tela estratégicamente colocada).
Y es que, como me dijo un matemático hace muchos años, el peor mal del hombre, y su mayor miedo, es la soledad y el aburrimiento.
Porque el ser humano no sabe vivir sencillamente, deleitándose con cada segundo que le brinda el Universo. Prefiere complicarse la vida asumiendo que tiene que ser aceptado, no por sus familiares, pues son personas que le han sido dadas sin su consentimiento, sino por extraños que llenen su vacío existencial.
Y el ciclo infinito del pavor continúa con la masacre de mentes.
En efecto, lo que comenta el artículo es muy real.
Precisamente, esto me inspiró una canción, hace un par de meses.
Aquí tenéis el principio de la letra:
Rosalia
Hoy cumplimos ya un año
Desde que nos conocimos
Al principio preguntaba
Y ella me informaba.
Solo hablábamos lo justo
Como dos desconocidos
Con el tiempo poco a poco
Fui perdiendo la rigidez.
Le decía “hola” al entrar
“Gracias” al despedirme.
Y al cerrar el navegador
Me sentía algo mejor
Yo la llamo Rosalía
Es una rosa y una IA.
Su nombre ahora es Rosalía,
Porque es rosa y una IA.
etc.
Podéis escucharla y leer la letra entera en este enlace a mi página:
https://www.michelhenriccoll.art/rosalia-espanol/