Hoy, en mi sección de Radio Nacional, a eso de las 11:30 AM, hablaré de un tema tan interesante como urgente: los sesgos que toda inteligencia artificial arrastra consigo, de dónde vienen, y hacia dónde podrían dirigirse en el futuro.
La mayoría de discursos de los profanos sobre inteligencia artificial la elevan a un altar de objetividad: «la máquina no miente», «la inteligencia artificial es imparcial», «si lo dice la inteligencia artificial, es verdad». Pero obviamente, nada más lejos de la realidad. Las inteligencias artificiales no nacen neutrales: su moralidad, sus prejuicios y sus errores los heredan de los datos con los que las entrenamos… y, cada vez más, de los intereses económicos que las impulsan.
Empecemos por lo más «natural», lo más evidente: los sesgos instintivos o nativos que provienen de los datos. Una inteligencia artificial de diagnóstico médico aprende a partir de historiales, imágenes, registros hospitalarios. Si esos datos provienen mayoritariamente de hombres, o de gente de unas edades medias, o de regiones urbanas, la máquina no verá bien lo que haya «fuera de su ámbito de experiencia». Fallará más con mujeres, con personas mayores, con quienes habitan territorios ignorados por el sistema sanitario. Esa no es una decisión consciente de la inteligencia artificial, sino el eco de los sesgos de nuestra sociedad.
Incluso existen sesgos que introducimos nosotros mismos: si pretendemos usar a la inteligencia artificial como psicólogo, una idea completamente absurda pero que parece estar popularizándose, nuestras propias preguntas generan una convergencia en las respuestas que hacen que, salvo en cuestiones muy específicas, tienda a apoyarnos y a darnos siempre la razón. Muy satisfactorio, posiblemente, pero muy poco riguroso, y decididamente, no lo que queremos obtener de un psicólogo. En casos extremos, termina incluso por ayudarnos a escribir nuestra nota de suicidio. Un encanto de psicólogo, la verdad…
Otro claro ejemplo: sistemas de reconocimiento facial que funcionan mejor con personas de piel clara que con personas de piel oscura. O algoritmos de procesamiento de lenguaje que cometen más errores con acentos no estándar o dialectos que no aparecen en sus corpus de entrenamiento. En el ámbito del marketing, los modelos de lenguaje ya ajustan su mensaje según edad, género o nivel educativo, generando slogans distintos para distintos grupos, lo que demuestra que incluso las inteligencias artificiales generadoras de texto discriminan sutilmente.
Pero ese riesgo «natural» ya conocido, aunque no necesariamente por la mayoría de los usuarios, empieza a ser eclipsado por otra fuente de sesgo, más potente y más peligrosa: la publicidad, el patrocinio y el modelo de negocio que subyace en cada plataforma de inteligencia artificial. Por ejemplo, Perplexity anunció que va a insertar anuncios (sponsored follow-up questions o contenido pagado al lado de las respuestas), asegurando que «el contenido de las respuestas no será influido por los anunciantes». Esa promesa, sin embargo, es frágil, porque basta con modificar el peso relativo de determinados temas, priorizar ciertas fuentes o hacer que ciertos anuncios aparezcan primero, para inclinar el resultado. Que una inteligencia artificial de búsqueda titubee entre ofrecer la mejor respuesta y servir al mejor postor es un dilema real.
Mientras tanto, OpenAI ha comenzado a reclutar especialistas en publicidad, personas que vienen de Google o de los sistemas clásicos de monetización, lo que sugiere que la faceta mercantil del negocio de la inteligencia artificial ya está siendo planificada explícitamente. En su más reciente DevDay, los anuncios se centraron menos en la pura potencia de los modelos y más en cómo encajan esos modelos en flujos de trabajo, aplicaciones y ecosistemas donde puede haber incentivos comerciales implícitos.
La confluencia de sesgos nativos y sesgos patrocinados nos lleva a una conclusión incómoda: la inteligencia artificial no es «omnisciente», no es «infalible», y no está por encima de la ética. Cuando decimos «lo dijo la inteligencia artificial», estamos asumiendo que no puede equivocarse. Pero sí puede: omite realidades, silencia voces, privilegia intereses. No hay oráculo: hay modelos estadísticos con prioridades ocultas.
En un estudio reciente titulado «Generative AI search engines as arbiters of public knowledge«, investigadores comprobaron que los modelos de inteligencia artificial muestran sesgos geográficos y comerciales en las fuentes que citan y en el tono con que abordan los temas. Esa «autoridad» artificial puede parecer imparcial, pero muchas veces reproduce los mismos desequilibrios de poder que ya existían.
Entonces, ¿qué hacer? No basta con desplegar más inteligencia artificial; hace falta «inteligencia artificial crítica». Auditorías éticas independientes, transparencia en los criterios de ranking, mitigación de sesgos en los datos, y vigilancia pública sobre cómo se monetizan esos sistemas. Que sepamos no sólo qué dice la inteligencia artificial, sino por qué lo dice.
Que quienes usamos estos sistemas lo presionemos: porque no merece que dejemos decisiones claves relacionadas con todo tipo de ámbitos, desde salud, justicia y crédito hasta reputación y muchas cosas más, en manos de cajas negras sin escrutinio. Hoy hablaré de esto en la radio: que esa voz extra, que suena tan convincente, también merece que cuestionemos su agenda, tanto la «natural», la que refleja nuestros propios sesgos, como la «artificial».
Si me escuchas en RNE sobre los sesgos de la inteligencia artificial (en este enlace a la sexta hora de programa, minuto 27:40), recuerda: no es un problema del futuro, está ocurriendo ya. Y reconocer y entender sus problemas y limitaciones es el primer paso para no caer en ellas.
You can read this article in English on my Medium page, «AI isn’t neutral—and that should worry us«
Si puedes, actualiza la publicación con el link al audio, porque en el sitio no organizan por hora oficial de emisión sino por día/duración/ y por horas que van de la primera a la séptima (o_0)
Oído cocina…
Para que lo tengas «en tu almacén» y para aportar algo de info para un futuro post relacionado con el tema (cuando corresponda/si corresponde):
OpenAI, Sur Energy weigh $25 billion Argentina data center project
Acabo de venir del médico porque todavía tengo la garganta y los ojos irritados debido a la increíble cantidad de humo que largó la noticia.
Lo tengo, está en la sexta hora, a partir del minuto 27:40
Gracias
Mierda Enrique, a ver si la única solución va a ser desarrollar el sentido crítico….
Nada, y menos un sistema inteligente, artificial o natural, puede estar exento de sesgos, y es la tarea de toda una vida (o toda una historia de una civilización) el destilar y refinar las pocas verdades a las que podemos acceder.
Off topic: Cabify se une a la lista de empresas que venden publicidad hipersegmentada con Cabify Ads.
La IA nos pondrá publicidad, los frigos de Samsung también, ahora los Amazon Echo… y a ver cuánto tardan los de Meta en ponerla en sus gafas.
Hemos casi conseguido erradicarla de internet y ahora la tenemos en casa. :-P
Acabo de actualizarme a W11, y lo primero a la izquierda una barra de «noticias» y publicidad… eso si al menos han olvidado lo de meterte la mano en el bolsillo por el mismo OS que le cambian la cara…
…los gustos te los das en vida… XD
Si la IA es gratuita, ¿Cómo se monetiza? .- Oo bien con publicidad, o bien, porque genera mensajes de acuerdo con la forma de ver el mundo de su sponsor.
«titubee entre ofrecer la mejor respuesta y servir al mejor postor es un dilema real.» (EDans).
Iba a poner «paso (al modo póker)», pero al final opté por «ya lo decía un tal Hamlet»…
Dos noticias, que ya funciona el modo IA de Google, ya tenemos el buscador con anteojeras para que no nos salgamos del main stream… y por otro lado voy a comenzar a leer el libro de Karen Hao ( El imperio del mal, digo de la IA
https://elpais.com/tecnologia/2025-10-13/karen-hao-periodista-las-tacticas-de-las-grandes-tecnologicas-son-las-mismas-que-las-de-los-imperios-de-antano.html
Esta señora lo tiene claro… no como los gurús que se excitan por poner un n8n a los desarrolladores. Es como mínimo de tonto del culo, como lo de Abundio, ir a vendimiar y llevar de merienda uvas…
«P. ¿Cómo ve a OpenAI en diez años?
R. Creo que se convertirá en lo que Facebook era hace quizás dos años, antes de su renacer reputacional. Hasta hace poco, la gente pensaba que Facebook era una empresa bastante terrible que solo se preocupaba por sus propios beneficios y que la tecnología que había construido había tenido efectos muy corrosivos en la sociedad. Creo que esa será la reputación de OpenAI. Puede que lleguemos a ese punto en solo cinco años.»
«Cuando las IA nos esclavicen o no tengamos agua para beber porque la poca que quede sea propiedad privada y se use para refrigerar los centros de datos, al menos nos quedará el consuelo de saber que todo fue por crear este tipo de vídeos.»
La IA esa…
Mas….
La broma viral del ‘mendigo’ que preocupa a las autoridades y explica el otro problema de la IA
Si es verdad que eso lo ha pensado un niño de 12 años… ES UN GENIO de la creatividad y como con dos duros se pueden hacer cosas virales y sorprendentes. Aprender mediocres de tiktok
¿En 10 años? Menuda pregunta… Seguro de un flipado total que iba totalmente fumao, 10 años…
Dice Dans que “No basta con desplegar más inteligencia artificial; hace falta «inteligencia artificial crítica». Auditorías éticas independientes, transparencia en los criterios de ranking, mitigación de sesgos en los datos, y vigilancia pública sobre cómo se monetizan esos sistemas. Que sepamos no sólo qué dice la inteligencia artificial, sino por qué lo dice”.
Llevo muchos post leyendo que la regulación gubernamental no es buena para la IA. Lo que tengo claro es que la regulación del creador del sistema no será nunca exquisitamente buena para el usuario porque tenderá a protegerse la empresa para que otra empresa consiga lo que por su propia autorregulación la primera no pudo lograr.
Y sin embargo si pienso que es en este punto donde está el meollo de la cuestión, hay que evitar todos los peligros que Dans expone: los sesgos en los datos, en los algoritmos, el abuso de estos sistemas, impedir que se superen las barreras éticas, etc.
Me da igual quien lo haga, me da lo mismo quien controla al controlador. Lo que quiero es que lo haya, que haya quien nos proteja: por fuera de las empresas, si no un control gubernamental, si se pueden crear organismos independientes que vigilen a las empresas de IA y sus productos, y puedan señalar donde se han sobrepasado los límites, y donde se hayan sobrepasado, y según los daños causados, puedan imponer las sanciones suficientes para que surtan su efecto y eviten que estos comportamientos se repitan,
Dice Dans que “No basta con desplegar más inteligencia artificial; hace falta «inteligencia artificial crítica». Auditorías éticas independientes, transparencia en los criterios de ranking, mitigación de sesgos en los datos, y vigilancia pública sobre cómo se monetizan esos sistemas. Que sepamos no sólo qué dice la inteligencia artificial, sino por qué lo dice”.
Llevo muchos post leyendo que la regulación gubernamental no es buena para la IA. Lo que tengo claro es que la regulación del creador del sistema no será nunca exquisitamente buena para el usuario porque tenderá a protegerse la empresa para que otra empresa consiga lo que por su propia autorregulación no pudo lograr.
Y sin embargo si pienso que es en este punto donde está el meollo de la cuestión, hay que evitar todos los peligros que Dans expone: los sesgos en los datos, en los algoritmos, el abuso de estos sistemas, impedir que se superen las barreras éticas, etc.
Me da igual quien lo haga, me da lo mismo quien controla al controlador. Lo que quiero es que lo haya, que haya quien nos proteja: por fuera de las empresas, sino un control gubernamental, si se pueden crear organismos independientes que vigilen a las empresas de IA y sus productos, y puedan señalar donde se han sobrepasado los límites, y donde se hayan sobrepasado, y según los daños causados, puedan imponer las sanciones suficientes para que surtan su efecto y eviten que estos comportamientos se repitan.
Por ejemplo:
Un código ético para el uso de la Inteligencia Artificial (IA) debe basarse en principios fundamentales que garanticen su desarrollo y aplicación responsable. Aquí se presentan los elementos clave de un código ético de IA:
1. Control humano: Las personas deben mantener el control sobre la IA. La tecnología no debe tomar decisiones autónomas sobre los seres humanos sin supervisión.
2. Seguridad y robustez: Los sistemas de IA deben ser seguros, confiables y capaces de prevenir daños no deseados o vulnerabilidades.
3. Transparencia y explicabilidad: El funcionamiento de la IA debe ser comprensible y explicable, permitiendo auditorías y trazabilidad de sus decisiones.
4. Privacidad y protección de datos: Se debe respetar y proteger la privacidad de las personas a lo largo de todo el ciclo de vida de la IA.
5. Equidad y no discriminación: La IA debe utilizarse de manera justa, sin discriminar o estigmatizar a ningún grupo o individuo.
6. Bienestar social: El desarrollo de la IA debe orientarse al beneficio de los individuos y la sociedad en su conjunto.
7. Responsabilidad: Debe haber una clara atribución de responsabilidad en el uso y las decisiones tomadas por sistemas de IA.
8. Respeto a los derechos fundamentales: La IA debe adherirse a las normas básicas de derechos humanos y libertades fundamentales.
9. Supervisión y evaluación continua: Es necesario implementar mecanismos de supervisión, evaluación de impacto y auditoría de los sistemas de IA.
10. Colaboración multidisciplinaria: El desarrollo ético de la IA requiere la participación de diversas partes interesadas y un enfoque inclusivo.
Este código ético proporciona un marco para el desarrollo y uso responsable de la IA, promoviendo la confianza en esta tecnología y minimizando sus riesgos potenciales.