Chris Bakke publica en X una captura de pantalla en la que muestra cómo, mediante una prompt injection muy sencilla, consiguió que un chatbot de servicio al cliente de Chevrolet le vendiese un Chevrolet Tahoe último modelo por un dólar, y dijese además que se trataba de una oferta legalmente vinculante.
Obviamente, la marca no va a llevar a cabo la operación, pero la captura, que Bakke llevó a cabo tras darse cuenta de que el chatbot en cuestión era una simple adaptación de ChatGPT 3, es una buena prueba de concepto que demuestra que si una marca quiere sustituir todos o parte de sus procesos de servicio al cliente mediante un chatbot gestionado mediante un algoritmo generativo, es muy posible que la tecnología no esté aún suficientemente madura.
La cuestión es evidente: si diseñas un chatbot para tomar cualquier frase tecleada por un supuesto cliente mediante un algoritmo generativo, es muy difícil evitar que ese algoritmo generativo, al procesar la frase en cuestión, no se limite a procesar la información y responder, sino que también pueda interpretarla como condicionantes para futuras conversaciones en ese hilo. En sus experimentos con el chatbot de Chevrolet, Chris Bakke consiguió, por ejemplo, que la compañía, supuestamente, le ofreciese un dos por uno en todos sus vehículos o que llegase incluso a venderle un Tesla.
La prompt injection es, simplemente, una familia de exploits de seguridad que tienen lugar cuando un algoritmo que fue capacitado para seguir instrucciones dadas por humanos, recibe esas instrucciones de un usuario malintencionado que pretende manipular sus respuestas. Mediante prompt injection se han conseguido todo tipo de respuestas, incluidos por ejemplo detalles sobre el entrenamiento de determinados algoritmos.
Separar los ámbitos de administración y de servicio es, en este tipo de entornos, bastante difícil, y tratar de prevenir ataques de prompt injection es, dada la enorme diversidad posible con la que pueden producirse, una tarea que se plantea como casi ilimitada y que, además, es susceptible de condicionar respuestas a muchos otros intercambios que podrían ser genuinos, debilitando por tanto las posibilidades del chatbot.
Por otro lado, la posibilidad de recurrir a un chatbot de este tipo es muy atractiva, y de hecho, fue una de las primeras funcionalidades con las que se comenzó a especular tras la aparición de ChatGPT a finales de noviembre de 2022: en la era del servicio 24×7 a través de interfaces web, tener a un equipo de personas contestando en tiempo real las posibles dudas y preguntas de los clientes resulta costoso y complejo, pero retrasar la contestación a esas preguntas puede, en muchos casos, costar una venta o generar un problema, porque los propios clientes demandan ese servicio de manera prácticamente inmediata.
Pero por otro lado, a medida que este tipo de interfaces y algoritmos se hacen más populares y su uso se extiende en todo tipo de entornos, cabe esperar que las habilidades generales para llevar a cabo trucos como la prompt injection y similares vayan mejorando entre la población, lo que podría desencadenar todo tipo de situaciones que las marcas, muy posiblemente, preferirían evitar. Como siempre, cabe esperar que veamos una carrera entre los ingenieros que intentan prevenir todo tipo de actuaciones de este tipo conceptualizadas como ataques, y el ingenio colectivo de quienes los diseñan.
Por el momento, el consejo parece claro: antes de automatizar completamente tu servicio al cliente con un algoritmo generativo, preocúpate de plantearte en manos de quién estás dejando una interacción tan posiblemente valiosa, y por las posibles consecuencias reputacionales de ver supuestamente a tu marca contestando… vete tú a saber qué!
This article is also available in English on my Medium page, «Bored over the holiday season? Try prompt injecting a customer service chatbot«
O los especializan o mueren. Y hay que acotarlos a sus funciones básicas
Y, por fin, entendemos la diferencia entre un chatbot como chatGPT e «Inteligencia Artificial » y por qué es muy limitado en su rango de explotación en el mercado real. El hype acaba de implosionar.
Esa incapacidad de entender ni una palabra, propia un algoritmo conversacional, es la definición misma de ChatGPT, no «alucinaciones».
Sólo es una máquina concebida para elaborar conversaciones, aunque su efectismo resida en mantener una apariencia de entendimiento o la capacidad de razonar.
Es un trampantojo intelectivo., asumimos que algo que es capaz de hablar o mantener conversaciones, es sinónimo de inteligencia, entendimiento o una actividad racional.
La clásica ilusión de la Habitación china.
–
No, yo creo que de inteligencia va sobrada, incluso más sobrada que la CIA… Y, en efecto, por fin otro que también se da cuenta, de «alucinaciones» nada de nada. Lo dije y lo repito, llamarle a eso alucinaciones denota una ignorancia formidable sobre lo que es una alucinación. Amén de, una vez más, antropomorfizar un sistema, o como querías llamarle, que tiene de humano lo que yo de santo.
Ya veréis qué risas cuando al final se llegue a la conclusión de que a la IA se le puede engañar como se les engaña a cualquier ser vivo: humano o animal, exactamente igual. Incluso con resultados catastróficos.
Saludos.
PD: Apuntad nuevo nombre en exclusiva: «IA degenerativa». Y no me refiero al nombre que le ha puesto algún merluzo porque «la usan degenerados», sino que ella, en sí misma, ya es degenerativa.
Nada nuevo bajo el sol. Se llama Síndrome de la Interacción Inteligente… tú te crees que tomar el sol es bueno, por aquello de la morenez no racista, la vítamina D (que solo funciona hasta cierta edad)… y te pones morado (no podemita, porsi)… claro luego viene las rebajas con la tumorización descontrolada de la piel y… hasta te asustas un poquito (pero solo un poquito!).
¿Acaso la interacción con un algoritmo (algo más inteligente que el sol) es muy diferente?… pienso que se llama usar la 2 inteligencias y unos cuantos filtros adecuados (sic), que nos ayuden a discriminar la paja del grano. Como los del sol se dejan fuera la UV de excesiva intensidad. ¡Y no son nada inteligentes!
Mira tú por dónde, también los viejos del lugar le llaman sentido común (por aquí sentidiño). Y como yo digo, porque los viejos se fueron quedando algo obsoletos, le podemos denominar sentido común científico.
Porque conviene tener claro, que, en la ciencia, también se vende mucho sinsentido.
De lo que hablaba el otro día, la tradicional lucha entre la muralla y el ariete.
Aquí la muralla es el chatbot y el ariete es el usuario.
Doble contra sencillo que gana el usuario
Sinceramente, de haber sido ese usuario, habría exigido mi automóvil por 1 €.
No es cuestión de egoísmo o de locura ante una pequeña mina de oro encontrada de manera afortunada. Se trata del respeto.
-Respeto por el trabajo y lo que significa. Se trata de ayudar a la gente ¿verdad? Que levante la mano quien haya tenido que dar vueltas entre las opciones que otorgan los contestadores automáticos de empresas telefónicas, por poner un ejemplo. Realizar una tarea es conocerla y por lo tanto valorarla de manera profunda.
-Cuando quitas estos puestos de trabajo, ya no es que el enfoque de ayuda lo pierdas (porque solo enfocas la búsqueda de reducir costes), es que tal como están las cosas, no lo enfocas desde el punto de vista del cliente. El chatbot de Vodafone sencillamente es imbécil y ayuda entre poco y nada. Hoy me ha tocado sufrir a CttExpress y la imposibilidad absoluta de no poder tener asistencia personal con ellos.
-Así que en el momento en el que las empresas reducen personal para ampliar beneficios sin importarles demasiado el nivel de satisfacción en la labor de ayudar a quien lo necesite, lo siento, pero si se puede… que sangren.
Y si esto que nos trae hoy en Enrique, ha sucedido en Estados Unidos, entiendo que conociéndonos el no país, no sería loco pensar que acabaría teniendo un nuevo auto por tan solo 1 dólar.
Incluso creo que habría dado mucha más voz a las deficiencias de la IA en este aspecto y pondría en tela de juicio todo lo que comentaba antes.
Una pena por toda esa asistencia técnica personal que hace tan bien su trabajo.
Me gustaría saber en donde trabajan esas asistencias twcnlcas personalew que lo hacen tan bien, po7que mi experiencia personal con operadores humano es nefasta
Trabajo de cara al público. Y te puedo asegurar que intento que la experiencia de compra, de uso, de relación con las personas, sea lo más grata posible.
Considero, que ya seas fontanero, panadero, programador o vendedor de velas, tu trabajo es importante, porque hay mucha gente que lo necesita o a la cual “le solucionas la vida”.
A mí me encanta trabajar de cara al público y entiendo que la gente, necesita algo cuando se le atiende; hay compañeras que siempre se quejan de que ya viene “uno a dar por…” pero ¿en serio?
Si trabajara en un call center de una operadora, seguro que me comería docenas y docenas de gritos, malos modos, faltas de respeto, etc… . Mi trabajo es intentar ayudarles porque se encuentran así, ante un problema.
Tengo compañeros para los que su trabajo es un mero trámite para tener dinero a final de mes, para mí, es una manera en la que me pagan y puedo ayudar a los demás, me siento útil y no es meramente económico y ya.
Cuando la gente entra en mi lugar de trabajo, entran en mi casa, por lo que hay que intentar que se sientan lo mejor tratados y cómodos posible.
Todo esto, se traslada a la asistencia telefónica (por ejemplo la de Apple, siempre me ha parecido exquisita), o cualquier otro tipo de empleo.
Marcos, en efecto, olvidé en mi comentario hacer alusión a eso: por supuesto que hubiese tratado por todos los medios de que me diesen el cochecito por 1 Euro, vaya que sí. Y no vale que el cliente utilizó malas artes, porque si entras en un concesionario de coches y con las artes que uno tenga,, buenas, malas o regulares, logras convencer al vendedor que te lo venda por 1 Euro, y firmas, pues luego te lo tiene que entregar sí o sí.
Saludos.
De los creadores de Tecnología y Palabros molones para todo, llega un nuevo capítulo tras los exitosos: Grafeno, Realidad Virtual, Realidad Aumentada, Big Data, IoT, Criptoesto y lo otro, Blockchain, Tokenizando que es Gerundio, Fintech, Sostenible, Transversal y Diverso, etc…
Esta nueva temporada IA por aquí, IA por allá. Dos añitos vertiginosos para que las empresas se gasten pasta como si no hubiera un mañana para parecer molones y en la cresta de la ola, porque «este es el futuro, el nuevo paradigma, y todo va a cambiar como nadie se imagina…». Hasta que todos se den cuenta de que no servía para nada, los de siempre hayan amasado su parte del pastel y lleguen con el siguiente engañabobos debajo del brazo.
Suma y sigue.
De una IA que es un loro no podemos esperar entendimiento o inteligencia es una obviedad generalizada.
Si además le han dedicado al BOT nada de desarrollo específico a controlar su workflow tenemos resultados como el que nos presenta Enrique. Aqui se ha juntado la estupidez empresarial, de creerse el marketing de Sam el vendehumos, a una aplicación pensada con las posaderas. Para realizar un chat empresarial no es necesaria ni siquiera IA, con un workflow bien trabajado,… y claro funcionan correctamente.
Uno que funciona bien es el de KLM, hecho por gente sin encefalograma plano en el mundo de las IAs.
Twilio, rasca ahí!