Machine learning para detectar comportamientos nocivos en la red

IMAGE: Redrockerz - 123RFUno de los principales problemas que redes como Twitter han experimentado a lo largo de los años es, como hemos comentado ya en bastantes ocasiones, su gestión del problema del acoso y el insulto.

Desde su fundación, Twitter intentó plantearse como una herramienta que hacía una defensa militante y maximalista de la libertad de expresión, lo que terminó por generar un entorno en el que era precisamente esa supuesta libertad de expresión la que se veía coartada por las reacciones de usuarios con comportamientos nocivos.

A lo largo del tiempo, ese ambiente nocivo le ha costado a Twitter grandes disgustos, desde un crecimiento menor de lo esperado, a un predominio creciente de comportamientos pasivos (lurking) frente a activos, e incluso a comprometer su futuro provocando que otras compañías dejasen de plantearse posibles ofertas de adquisición derivadas de las dinámicas venenosas existentes en la plataforma.

Tras múltiples intentos de corrección de estas dinámicas, muchos de los cuales son en realidad auténticas «tácticas de avestruz», formas de ocultar el acoso a los ojos del acosado como si eso lo hiciese supuestamente desaparecer, ahora Twitter se plantea algo nuevo: una colaboración con IBM para que sea su sistema de machine learning, Watson, quien detecte, a través del estudio de patrones conversacionales, posibles situaciones de acoso y comportamientos abusivos, incluso antes de que sean denunciados.

¿Es posible que una inteligencia artificial detecte actitudes como el acoso o el abuso verbal? La cuestión no parece sencilla, porque hablamos de situaciones que van desde el insulto directo, que podrían ser detectadas simplemente con el uso de un diccionario, hasta otras mucho más complejas en las que se hace uso de la ironía, de los dobles sentidos, o de elementos no presentes en la conversación a los que se hace referencia de manera velada como insinuaciones, o a veces ni eso. Acosar a alguien puede incluir dinámicas muy complicadas, a veces incluso retorcidas, y utilizar patrones que van desde lo más sencillo a lo más alambicado.

¿A favor de Twitter? Cuenta posiblemente con uno de los mejores archivos online de comportamientos abusivos denunciados como tales. A lo largo de sus ya once años de historia, la compañía se ha visto envuelta en todo tipo de escándalos de elevada visibilidad y en una amplísima variedad de situaciones infinitamente menos conocidas que han afectado a usuarios de todo perfil y condición, con desenlaces conocidos. Para la compañía, resulta perfectamente posible estudiar en su inmenso archivo toda situación en la que determinadas actitudes hayan sido denunciadas como acoso, insulto, bullying, sexismo, incitación al odio, etc. e incluso etiquetar perfiles en función de su inclinación a exhibir ese tipo de comportamientos. Ese tipo de datos son precisamente lo que un algoritmo de machine learning necesita para ser entrenado correctamente, considerando que la semantización y el análisis del lenguaje humano ya son llevados a cabo algorítmicamente de manera más que satisfactoria. Obviamente, esto aún no incluye todo: algunas situaciones, como el uso de imágenes, pueden resultar algo más difíciles de procesar, pero en modo alguno representan algo que, a día de hoy, esté fuera de las capacidades de una inteligencia artificial, o en ultimo término, algo que puede recibir ayuda puntual de evaluadores humanos a la hora de determinar si efectivamente se trataba de una situación de ese tipo.

¿Puede Watson convertirse en el juez que determina si el comportamiento de un usuario debe ser considerado nocivo? Como afectado en algunos momentos por comportamientos de ese tipo que vio, además, cómo Twitter se lavaba las manos e incluso contribuía a empeorar aquella situación considerada por muchos como algo «simpático» y digno incluso de ser premiado, creo que sí, que el machine learning puede aportar un sistema que permita, cuando menos, etiquetar ese tipo de comportamientos, tipificarlos y permitir una gestión adecuada de los mismos, como también es muy posible que pueda colaborar en la detección de otro patrón habitual: la gestión de múltiples identidades y la apertura inmediata de otra cuenta para proseguir con el comportamiento nocivo cuando la primera cuenta es eliminada.

¿Existe algún tipo de conflicto entre un sistema así y la libertad de expresión? Todo depende de cómo queramos definir la libertad de expresión. Si consideramos que una red social debería servir para que todos podamos decir todo lo que se nos pase por la cabeza sin ningún tipo de freno o cortapisa, sí. Pero el ser humano vive en sociedad, la vida en sociedad se regula mediante determinadas reglas que van desde leyes a protocolos más o menos explícitos, y creo que a estas alturas, todos deberíamos asumir que el adjetivo «social» aplicado al sustantivo «red» debería implicar algo más que lo que actualmente implica. Al menos, en el caso de Twitter…

 

 

This post is also available in English in my Medium page, “Using machine learning to detect bad behavior on the internet» 

 

8 comentarios

  • #001
    Gorki - 23 marzo 2017 - 11:46

    Basta con que Twitter prohíba el envío de mensajes a quienes no te sigan para que se acabe el problema. Sigo a un numero reducido y muy escogido de personas, que no me cabe en la cabeza que se dedicaran a insultarme o acosarme. Suponiendo que lo hicieran me bastaría dejar de seguirlos para que fuera imposible hacerlo. Si alguien hoy me insulta o acosa sera alguien ajeno a los que sigo, si es posible que ellos me envien nada, se acab´el problema. Así de sencillo sin utilización de IA ni nada por el estilo.

    • Enrique Dans - 23 marzo 2017 - 14:15

      Me temo que no tiene mucho sentido, Gorki. El éxito de Twitter proviene precisamente de su carácter asimétrico, del hecho de que a mí me pueden seguir 276,731 personas sin que yo haya tenido que autorizarlos a ello. La asimetría permite el desarrollo de dinámicas de influencia y de transmisión de información de manera eficiente. Lo que propones sería equivalente a convertir Twitter en un sistema de mensajería de grupos cerrados, y eso ya lo tenemos con WhatsApp o Telegram y sin la limitación a 140 caracteres…

      • Gorki - 23 marzo 2017 - 14:30

        He debido explicarme mal, A ti te pueden seguir no 275,000 personas, sino 500.000 libremente y ellos pueden poner «Me gusta» y «Retuitear» a sus a seguidores tus twits sin limitaciones de ningún tipo, incluso acompañándolos de comentarios ofensivos. Lo que no deberían poder nadie excepto tus seguidos, es mandar a TL, ni insultantes ni elogios, porque TU no les sigues a ellos.
        Probablemente no sigas a mas de un centenar de personas, (si es que realmente quieres saber lo que cuentan). Sólo esa personas pueden poner mensajes a sus seguidores, (entre los que te encuentras tu voluntariamente), que a ti te ofendan, incluso puedan mandar comunicaciones privadas únicamente a ti, porque tu has elegido expresamente seguirlos.

        Lógicamente si uno de tus seguidos te ofende mucho. dejaras de seguirlo y asunto concluido. Lo que no es de recibo, es que yo pueda mandar a la cuenta de TRUMP, persona que, (curiosamente) no me sigue, un Twit en el que le comunico que me cae fatal, por que él no tiene el menor interés, en saber lo que opino, ni de él ni de nada.

        • José Enrique - 26 marzo 2017 - 00:39

          Completamente de acuerdo. Y es lo que menciona Enrique con eso de «red social»: una colmena de grupos cerrados de comunicación.

          Sin embargo… ¿eso es negocio? (¿Whatsapp?) creo que ese es el problema y twitter (como las demás) tiene impedido sobrepasar del sustantivo «medio» para su epíteto de «social».

          Por otro lado, las situaciones de acoso muchas veces no se dan así y tú siempre puede calificar a Trump como te plazca para deleite de tus «seguidores». El insulto no tiene por qué ser directo… y sigue siendo insulto aunque tú no te enteres (que no sé qué será peor)

          No estamos hablando de Trump, sino de mi ex XD

  • #005
    menestro - 23 marzo 2017 - 14:05

    Enrique, el machine learning, ni ningún sistema tecnológico, es la panacea para crearse un entorno a la medida de la sensibilidad personal.

    Cuando una persona se siente incómoda con la ironía, el doble sentido, o se siente aludido, el problema no está en Twitter. Está en la capacidad de relacionarse en un ambiente social no restringido de esa persona.

    No digamos ya, cuando existiendo la posibilidad de evitarlo, le preocupa y desea desterrar la ironía y cualquier muestra de desapego o espontaneidad de una red social.

    De hecho, es mucho más preocupante esa falta de capacidad para conducirse en un ámbito social, y de tolerancia, que ninguna otra afrenta.

    Si quieres, podemos hablar de Turquía, de zapatos filipinos, la Ley mordaza y de todos los atentados contra la libertad que se cometen en nombre de las buenas costumbres y sensibilidades personales.

    Si no te acaban de gustar los MM’s de un color, no puedes prohibir al fabricante que los incluya en el paquete.

    No estás hablando de acoso, o de delitos; estás hablando de lo incomodo que es la ironía o el sentido del humor.

    Entiendo lo que piensas y por qué, si no, no estaría comentando aquí, pero Twitter no es el problema. Y Watson, probablemente, estaría de acuerdo en ello.

    (O a quien no le gustan las bicicletas, que van sobre dos ruedas y nadie sabe que motivación las lleva a comportarse así)

    • menestro - 23 marzo 2017 - 15:22

      Por si alguien se lo está preguntando, sí, la falta de percepción de la ironía o los dobles sentidos se puede calificar como una pequeña dislexia, por llamarla así. Sin entrar en más cosas técnicas y esotéricas. Que esto no es un diván.

      (Y claro, produce incomodidad)

      Tal vez debería haberlo explicado antes, pero… :-)

  • #007
    Xaquín - 23 marzo 2017 - 18:31

    Acabo de leer que Trump Jr. se metió con el alcalde de London por el atentado… que machine learning puede parar el acoso difuso (y más de los poderosos)?

    Se necesita más prevención (como en sanidad) y eso se llama educación. Y no reformas políticas que llevan al desencanto. Ni marear más al adolescente quitándole por un lado posibilidades reales para realizarse y por otra mimándolo con «armas terroríficas» como la de llevar a juicío y pedir nueve meses por quitarle su madre el smarphone… a donde queremos llegar? Eso no se resuelve con machine learnig (ni con el homo roboticus programado)!

    Y siguen diciendo que el problema está en internet…

  • #008
    Jose - 24 marzo 2017 - 08:41

    Harto dificil porque llegado el extremo de la ironia en cuanto a vivencias personales solamente conocidas por el acosado y acosador. Como la máquina no conozca la vida de ambas mal va. O la vida de una y una noticia del dia anterior en comparaciones semanticas. Creo que es un dinero tirado a la basura. Por otro lado estarian la riñas entre dos personas..quien comenzo y como. Se expulsarian a los dos. Lo mejor es la denuncia dle abuso, el analisis de lo sucedido y la expulsion. Alguien podria decir que se necesitaria mucha gente pero las mismas machine lernings.. Si la empresa fuera mia no lo haria.

Dejar un Comentario

Los comentarios están cerrados