Cuando los algoritmos gobiernan nuestra vida

SesameCredit (IMAGE: Zheping Huang - Quartz)Un fantástico ensayo de Bruce Schneier, The risks – and benefits – of letting algorithms judge us, me recuerda la existencia de Sesame Credit, una iniciativa de calificación crediticia basada en métricas sociales creada por Alibaba para el mercado chino sobre la que leí un artículo en profundidad en Quartz el pasado octubre, All Chinese citizens now have a score based on how well we live, and mine sucks.

La iniciativa va más allá de los algoritmos dedicados a la calificación crediticia, que existen desde hace mucho tiempo en todos los países desarrollados y cuyos riesgos y problemas son bien conocidos por todos aquellos que nos hemos visto obligados a construir un historial de crédito en un país distinto al nuestro. En el caso de Sesame Credit, los ciudadanos chinos no se ven simplemente afectados por su comportamiento crediticio, el uso de tarjetas de crédito y el pago regular de los balances adeudados, sino por sus acciones y asociaciones en la red, mediante un algoritmo secreto que está dando origen a todo tipo de comentarios: se habla de posibles influencias en la calificación en función de los contactos en redes sociales (un sistema que ya patentó Facebook el pasado año y al que ya me referí anteriormente en una conferencia titulada “Cuando Facebook decide si te conceden la hipoteca“), o de cuestiones como el tipo de compras que se hacen (libros o productos considerados subversivos, por ejemplo, podrían dañar tu puntuación) o las actualizaciones que se publican en medios sociales.

Las implicaciones son importantes: en su momento, cuando llegué a los Estados Unidos, me llamó la atención la manera en la que los sistemas de evaluación de crédito me obligaban a mantener determinados patrones de gasto para mí completamente sin sentido: aunque el historial de crédito era relativamente indiferente para mí, que contaba con fondos y crédito en un país al que pretendía además volver en pocos años, mi única posibilidad de mejorar mi historial crediticio era solicitar tarjetas de crédito con límites absurdamente bajos (los únicos a los que podía optar), y hacer uso de ellas pagando sus balances puntualmente, aunque no necesitase para nada ni esas tarjetas ni su crédito. Entonces, el sistema era obviamente algorítmico, pero indudablemente poco inteligente, e incapaz de reconocer determinados patrones que pudiesen salirse de unos pocos comportamiento habituales tipificados. Aplicar reglas de ese tipo a cuestiones que vayan más allá del gasto y aplicarlo a pautas sociales, a nuestros círculos de amistades, a lo que opinamos en las redes o a nuestras compras – más allá de su importe – es obviamente un sistema que genera miedos de todo tipo, y que puede utilizarse como una forma clara de control social: no te relaciones en público con según qué personas, no digas según qué cosas, no compres según qué productos o en según qué sitios… si no quieres verte condenado a una especie de ostracismo social en el que no solo no tienes acceso a crédito, sino que te arriesgas a que otros, desde potenciales empleadores hasta parejas, te juzguen, evalúen y eventualmente penalicen en función de tu puntuación.

La problemática resulta aún más compleja cuando añadimos la progresiva aparición de más y más algoritmos que clasifican nuestra vida en los aspectos más insospechados: una aplicación de dating, Blinq, utiliza un algoritmo de inteligencia artificial para evaluar la edad y el nivel de atractivo de sus usuarios en función de la fotografía que incluyen en su perfil. Aunque el sistema parece más una manera de incentivar la prueba y la captación de usuarios intrigados por el número que les asigna (dos millones de visitantes únicos en dos días), la compañía afirma que pretende utilizar esas métricas en el funcionamiento del sitio, lo que lleva a que una foto decida hasta qué punto tienes o no oportunidades de conseguir una pareja determinada… en el fondo, nada que no ocurriese cuando salías a la calle y te veían la cara, aunque ahora afectado por las características de una fotografía y por un algoritmo de inteligencia artificial. En el mismo sentido, Tinder trabaja con un “Elo score”, una métrica de cómo de deseable es un usuario, que utiliza no solo factores derivados de la fotografía y el perfil, o del éxito obtenido, sino una amplia variedad de elementos adicionales.

De nuevo, resulta fácil imaginar elementos que, incluso en este aspecto vinculado con las relaciones personales, inviten a pensar en una cierta tendencia a la homogenización de los gustos, al establecimiento de patrones de atractivo o a la marginación de los que no los cumplen. Y de nuevo, la pregunta vuelve a ser la misma: ¿hablamos de algo generado por el uso de la inteligencia artificial, o de algo que ya estaba allí y que los algoritmos simplemente reflejan? Es decir, siguiendo este ejemplo: ¿es una persona con una puntuación elevada en Tinder también una persona que haría alzar la mirada a cualquiera cuando pasa por la calle, mientras esa misma mirada se mantendría indiferente ante alguien con una puntuación baja? ¿Es el algoritmo simplemente un reflejo de comportamientos humanos subyacentes, o aporta elementos de su propia cosecha que escapaban a los humanos? ¿Estamos mejor sometidos a la relatividad y la serendipia de los humanos, o preferimos contar con un elemento de certeza, con la puntuación generada por una máquina?

Obviamente, lo que en el caso de las aplicaciones de dating puede aparecer rodeado de cierto halo de frivolidad, pasa a tener unas connotaciones e implicaciones muy diferentes cuando hablamos de calificación crediticia, y aún más si a esa calificación se anclan factores como el prestigio social. En el caso de China, las dos cuestiones incluso llegan a conectarse: una persona con una puntuación más alta en Sesame Credit puede fácilmente pasar a tener por ello una consideración mejor a la hora de ser evaluado como una pareja potencial. El papel de China como escenario de futuro no escapa a nadie: una sociedad relativamente joven en su configuración actual, con patrones sociales aún flexibles y en rápida evolución, y un gobierno con un poder omnímodo y un interés por la monitorización que resultaría imposible en países con tradición democrática.

De una manera o de otra, y no solo en China, nos dirigimos a una sociedad en la que cada vez más elementos en nuestra vida van a ser evaluados mediante un algoritmo. Sea por escala, por conveniencia, por eliminación de sesgos e influencias humanas o como referencia, veo claro que nos dirigimos hacia un futuro en el que las máquinas serán las que evalúen cada vez más aspectos. Donde antes había un comité con una cierta experiencia que valoraba nuestro riesgo – y que adolecía de problemas evidentes a la hora de evaluar, o que podía tener sesgos en función de a quién conocíamos – ahora habrá una máquina que ofrecerá un número, y ese número decidirá si sí, si no, y cuánto. Donde antes estaban tus amigas o amigos diciéndote lo guapa o guapo que estabas esa noche, pronto habrá un espejo con webcam en el que te mires antes de salir de casa y te devuelva una puntuación.

¿Bueno? ¿Malo? Si un algoritmo es susceptible de ser diseñado y construido, lo será, es inevitable, y por lo que sé de algoritmos y de personas, terminará tomando decisiones mejor que una persona. Sí, va a ocurrir. La cuestión es que ocurra con los elementos de control adecuados, y que su uso se tamice de alguna manera con las precauciones adecuadas. La siguiente pregunta, claro, es qué precauciones y cómo se toman. ¿Es suficiente con hablar de una transparencia que, aplicada a algoritmos de inteligencia artificial, se convierte en prácticamente imposible de monitorizar? ¿Con regular el tipo de variables que alimentan al algoritmo? ¿Con mantener sistemas de supervisión? Francamente, no lo tengo claro. Y como en todos estos temas, no podemos reducirlos a un simplista “me gusta” o un “no me gusta”, a un “algoritmos sí” o “algoritmos no”: es mucho más complejo que todo eso. Es momento de ir pensando en ello.

 

This article is also available in English in my Medium page, “Will algorithms rule our lives, or do they already?

 

18 comentarios

  • #001
    Pedro - 13 enero 2016 - 14:42

    Entonces:
    1) Cuanto mas expuesta que este tu vida (y “arreglada”) a las empresas de redes sociales como Facebook mayor sera tu nivel crediticio.
    o
    2) Cuanto mayor informacion de ti mismo proporciones gratis a estas empresas mas posibilidades de poder tener una hipoteca tendras
    =
    No se me ocurre mayor esclavitud similar a la del libro 1984…

    • Enrique Dans - 13 enero 2016 - 14:44

      Efectivamente, George Orwell fue un ENORME visionario… pero eso no aporta mucho a la cuestión, sospecho. Forma parte de otra discusión más ideológica que práctica :-)

  • #003
    Raul SB - 13 enero 2016 - 14:46

    “Donde antes había un comité con una cierta experiencia que valoraba nuestro riesgo – y que adolecía de problemas evidentes a la hora de evaluar, o que podía tener sesgos en función de a quién conocíamos – ahora habrá una máquina que ofrecerá un número, y ese número decidirá si sí, si no, y cuánto”.

    Pues no se si será mejor que lo que hay, pero si vemos lo que ocurría en las entidades bancarias y Cajas de Ahorros con las preferentes, créditos políticos, … e incluso para la concesión de créditos personales e hipotecas, bien hecho y TRANSPARENTE prefiero el algoritmo

    • Enrique Dans - 13 enero 2016 - 14:48

      Si echas un ojo al artículo de Schneier, verás que efectivamente, algunos de los temas van por ahí, por la relatividad de determinadas decisiones humanas frente a la exactitud y la eliminación del sesgo que proponen las máquinas. Es un muy buen artículo, y el argumento, en efecto, tiene su peso…

  • #005
    Gorki - 13 enero 2016 - 18:22

    De hecho todos hemos sido alguna vez evaluados por nuestro aspecto exterior, hermosura, elegancia, estatura, etc. Será absurdo, pero a igualdad de méritos, es un hecho demostrado que los feos tiene menos probabilidades que los guapos, de ser elegidos para cubrir un puesto y esta pequeña diferencia se multiplica por 10 en el caso de las mujeres.

    Bien, en el futuro a todos esos atributos externos, habrá que añadir el “digital number” que el algoritmo de turno nos quiera proporcionar, quizá eso equilibre los inconvenientes que padecen l@s fe@s, al menos las máquinas no sienten preferencia por la belleza.

    ¿O quizá si ?. — ¡Vaya Vd. a saber !
    .

  • #006
    Matt - 13 enero 2016 - 19:13

    A mi me parece alucinante que gente (supuestamente) inteligente pueda llegar a plantearse si está bien o mal que puedan acabar con tus opicones de recibir un crédito (con todo lo que ello significa) si has leído, comprado o dicho algo que no le guste al sistema, en vez de denunciar la aberración que esto significa.

    Si Orwell viviese hoy, se pegaría un tiro.

    • Gorki - 13 enero 2016 - 22:59

      No veo gran diferencia el que te deniegue un crédito , un sistema experto o que te lo deniegue simplemente un experto.

      • Matt - 14 enero 2016 - 13:56

        El tema no está en quién te lo deniegue, sino en el criterio que se utilice. ¿De verdad no ves la diferencia entre que decidan si te lo aceptan o te lo deniegan basándose en tu historial crediticio e información financiera o que lo hagan basándose en tus gustos, aficiones e ideas?

        • Enrique Dans - 14 enero 2016 - 13:59

          Es que no es tan simplista. No, no es que te lo denieguen si lees a Bakunin, o si eres aficionado al manga. Es un algoritmo complejo e inabarcable que compara muchísimos casos en los que hay personas con determinadas circunstancias, y que intenta aislar relaciones para ver si son simples correlaciones espurias o reflejan algo real. Eso, muchísimas veces, y realimentándose de los resultados. Hay mucho más que simplemente “se porta mal, no se lo doy”.

        • Gorki - 14 enero 2016 - 16:00

          Exacto ese es el problema, el criterio por el que te deniegan un crédito, puede ser que tengas mala fama de pagador, o mala fama de follonero, eso es lo que se refleja en datos que recogen los algoritmos, que al menos son más o menos objetivos.

          Pero los expertos con frecuencia te lo deniegan, por que no les gusta tu forma de peinarte, de vestir, o de hablar, que son datos subjetivos, que captan los entrevistadores, pero no los algoritmos.

          Sigo sin ver gran diferencia, el asunto sigue siendo que te han denegado un crédito, no las razones que les han llevado a denegarlo. .

  • #011
    menestro - 13 enero 2016 - 22:37

    “Será silicio, Mas tendrá sentido; algoritmo serán, mas algoritmo enamorado”

  • #012
    Bcn - 14 enero 2016 - 00:12

    Esta claro que un algoritmo siempre será más imparcial que un comité.

    • Gorki - 14 enero 2016 - 08:31

      Cierto, es mas imparcial, pero nadie dice que su proporción de errores sea menor que la de un comité,

      Al menos los sistemas de decisión que yo conozco, (ya bastante antiguos), el sistema era mixto, algoritmo + opinión de expertos y cuando yo lo dejé, ponderaba aun más, la opinión de los expertos, que las recomendaciones del algoritmo, que entonces no tenia en cuanta mas que el historial de pagos de los solicitantes..

  • #014
    Sergi - 14 enero 2016 - 06:18

    Enrique, la mayor parte de sistemas expertos en IA son a efectos prácticos “cajas negras” que no sólo no te darán un porqué de sus decisiones, sino que tan siquiera existe ese porqué ni nadie les ha programado explícitamente ese porqué.

    Por poner un ejemplo, los algoritmos basados en redes neuronales (es un tipo de algoritmo de detección de patrones) APRENDEN a clasificar después de darles n ejemplos de cada patrón que quieres detectar. Así pues, quien construye estos sistemas es quien decide, por ejemplo, quienes son o no merecedores de un crédito de una muestra de pongamos 1000 clientes, y a partir de ahí y en base a esos casos el sistema experto extrapola un sistema matemático de calcular si un nuevo caso (ajeno al grupo de casos de entrenamiento) merece o no el crédito. Lo bueno de estos sistemas es que pueden mejorar más y más sus escrutinios si con los nuevos casos les das un feedback…. en fin, una birgueria. Aunque no nos engañemos: es el humano quien inicialmente les da los casos a usar de EJEMPLO (!!!).

  • #015
    José Enrique López - 14 enero 2016 - 09:45

    Llevamos décadas rodeados de sistemas de evaluación: rankings, listas de éxito, guías (por ejemplo, de vinos o de restaurantes), críticos, premios (nobel, oscars,…), ets. Todos ellos llenos de imperfecciones mucho mayores pero que no cuestionamos tanto por tenerlas más interiorizadas.
    Por otra parte, también hay rankings de rankings: en el mundo del vino, Parker es el rey. En el del cines, los Oscars.
    Respirad hondo y relajaos, esto es sólo una evolución de lo mismo de siempre. Sólo que aún es nuevo y le falta rodaje.

  • #016
    Simon - 14 enero 2016 - 10:59

    En una temática muy relacionada, en el podcast de abajo de The Guardian se habla sobre cómo la tecnología que se está desarrollando en el ámbito genético podría hacer desaparecer la diversidad que la propia naturaleza introduce mediante la aleatoriedad en la reproducción.

    http://www.theguardian.com/science/audio/2015/nov/27/evolution-are-humans-transitioning-as-species-science-weekly-podcast

    Al final parece que la sociedad se dirige a individuos de características, gustos y calificaciones estándar (aburrido, cuanto menos); el argumento de Gattaca :D

  • #017
    Alfredo Hernández de la Iglesia - 14 enero 2016 - 11:36

    Hola,

    Bonita palabra Serendipia (aunque no esté aún en la RAE) http://definicion.de/serendipia/

    Siempre se aprende algo nuevo.

    Respecto al tema en sí, creo que esa evaluación se ha hecho siempre pero por humanos. Trasladarlo a la máquina le puede quitar sesgos y parcialidad pero también “factor humano”. Como han señalado antes quizás lo mejor sea un sistema mixto pero habrá que decidir a quién se le da mayor preponderancia.

    En los contratos públicos suele ser más eficiente utilizar criterios objetivos que subjetivos.

    Un saludo,
    Alfredo

    • Asier - 14 enero 2016 - 16:50

      Serendipia: http://dle.rae.es/?id=Xem9fCc

Dejar un Comentario

Los comentarios están cerrados