Cuando la vigilancia se vuelve algorítmica

IMAGE: Wbraga - 123RF

Un artículo de TechCrunch recoge un perfil de Tuputech, una compañía china basada en Guangzhou dedicada al análisis y procesamiento algorítmico de imágenes, y que se ha especializado en la detección de contenidos pornográficos o violentos mediante deep learning en el contexto de la muy exigente censura china. 

La compañía supone una solución al actual estado del arte en la detección y eliminación de contenidos pornográficos o violentos, que suele depender en gran medida de una supervisión y verificación manual. Con el impulso dado en algunos países al control de contenidos y el desarrollo de leyes que multan con cuantiosas cantidades a las plataformas que los publican, este tipo de herramientas de supervisión algorítmicas se han convertido en una propuesta cada vez más inevitable, y una plataforma entrenada de manera intensiva en un entorno tan sometido a censura como el que demanda el gobierno chino pasa a tener una importantísima ventaja competitiva: capaz de revisar 900 millones de imágenes diariamente, de procesar 50 imágenes por segundo, y de identificar pornografía o violencia con un 99.5% de fiabilidad. En muchos sentidos, es lo que comenté hace ya algunos años: China se ha convertido en el laboratorio del mundo, y muchas de las herramientas que se desarrollan allí y que en principio interpretamos como negativas, nocivas o contrarias a la libertad de las personas, terminan siendo adoptadas en otros países supuestamente democráticos.

¿Qué ocurre cuando la censura de contenidos pasa a estar desarrollada ya no por personas, sino por algoritmos de deep learning sometidos a un continuo proceso de entrenamiento? ¿Y si esa tecnología deja de ser empleada simplemente para detectar imágenes pornográficas y contenidos violentos, y pasa a utilizarse para aquello que no se quiere que sea visto o leído? ¿Qué evita, una vez desarrollado un algoritmo capaz de detectar determinados contenidos, que pueda ser entrenado para otros? Sencillamente, que el sueño de libertad que un día supuso el desarrollo de internet se convierte en una pesadilla de control omnímodo, de censura prácticamente infalible, de sumisión al juicio de un algoritmo. Si quieres controlar la información a la que tu población accede, ya no tendrás que poner a un ejército de personas vigilando todo lo que hacen en la red: simplemente tendrás que entrenar a los algoritmos adecuados. Restringir el acceso al cifrado, a las VPNs y a los proxies es, lógicamente, el siguiente paso natural. The internet is for porn? Solo hasta que el algoritmo decida que deje de serlo.

Sentados delante de una pantalla, y vigilados por algoritmos que nos dicen lo que podemos y no podemos ver. Algunos puede que piensen que una red libre de pornografía y violencia es una cosa positiva… pero se equivocan, y no precisamente por la pornografía y la violencia, sino por todo lo que puede venir detrás. Que Tuputech, una compañía creada y crecida a la sombra de la censura gubernamental china, se convierta de repente en interesante para muchos países y empresas de otros países es un muy mal augurio de los tiempos que se nos vienen encima…

 

 

 

This post is also available in English in my Medium page, “Soon, we will be watched over by algorithms» 

 

16 comentarios

  • #001
    Luis Hernández - 6 octubre 2017 - 10:59

    Imagino que el siguiente paso será que los algoritmos generen la infornación de modo que sea 99% viral, convincente y generadora de un estado de ánimo u opinión determinado y podrá incluso estar personalizada. Por supuesto también detectará y bloqueará cualquier información contraria.
    Y se acabaron los conflictos. Todos pensando lo mismo, de acuerdo a lo que decidan que tenemos que pensar.

    • Daniel Terán - 6 octubre 2017 - 12:50

      Supongo que si se diseña el algoritmo que lo sabe todo se puede diseñar el contra-algoritmo que lo confunda todo.

      Y empate técnico.

  • #003
    Gorki - 6 octubre 2017 - 12:17

    Un paso mas para la aparición del Ministerio de la Verdad con su famoso lema. «La guerra es la paz», «Libertad es esclavitud», «Ignorancia es la fuerza.»

    Y lo curioso es que todos estaremos de acuerdo que es necesario, ¿Quien se opone. a que se ponga coto a la pornografía y la violencia, a la mentira y al bulo, a la privacidad y al escándalo , …. ?

    No hay mas que leer las solicitudes de personas que sinceramente se creen demócratas, de que
    Facebook y Google contraten legiones de censores, para saber que todos llevamos un Torquemada dentro. Si lo que se publica no es nuestra «verdad», es falso y debería ser suprimido.

  • #004
    Ignacio - 6 octubre 2017 - 12:42

    A la misma velocidad con que la IA orwelliana se desarrolla, se está desarrollando también la resistencia a la misma: desde los cypherpunks y sus ideas locas (Bitcoin, Dapps, IPFS…), hasta la democratización de la IA de Siraj Raval.

  • #005
    JJ - 6 octubre 2017 - 16:15

    Es curioso que de Guangzhou, gran ciudad de las falsificaciones y la piratería, provengan las nuevas herramientas tecnológicas para la censura de contenidos violentos y porno.

    La verdad es que no estoy en desacuerdo con la censura del material violento. Otra cosa es la pornografía, de la que solo habría que proteger, creo, a los niños, algo que no siempre se consigue.

    No coincido con Gorki, en que la moderación de comentarios, fotos violentas, o información falsa en Redes Sociales deba considerarse censura. Creo que es necesario e imprescindible el control y la responsabilidad si no queremos una sociedad totalmente desinformada y corriendo detrás del sensacionalismo de cada día.

    • Gorki - 6 octubre 2017 - 20:47

      Exactamente eso es lo que me preocupa, que personas como tu, a las que considero moderadas y democráticas, no solo no vean inconveniente, sino que hasta solicitan un sistema de censura previa.

      ¿Qué es lo violento?,
      ¿El correcaminos no es violento? – Entonces no hay nada violento
      Si el correcaminos es violento, entonces, ¿Qué es lo que se puede decir, sin que hiera la sensibilidad de alguien?

      Si gente demócratas solicitan un sistema de censura previa, y los no demócratas, como el gobierno chino, simplemente los establecen, ¿Quién queda para defender la libertad de opinión?

      • Miguel Durán - 7 octubre 2017 - 15:00

        «Estoy defendiendo tu libertad de expresión» Larry Flint famoso editor de revistas porno

        «¿Pero nadie piensa en los niños? » la esposa del pastor en Los Simpson siempre dispuetaa dejar a Toquemada como un liberal.

        Con Mein Kampf no se termina prohibiéndola sino mostrando sus consecuencias y luego extrapolando su equivalente antitaurino, puritano, dominatrix, mafioso…

        De eso en la CiFi hay numerosas ucronías que deberían ser libros de texto sobre a donde se puede llegar si dejas a los fanáticos las manos libres sin pensar en las consecuencias

      • JJ - 8 octubre 2017 - 17:48

        Gorki, estás participando en este Blog, en el que hay moderación de comentarios, ¿qué ocurriría si no existiese la moderación? Tú lo sabes, habría en ocasiones insultos o descalificaciones, que no serían tuyas, pero sí de otros participantes.

        En cuanto a la violencia extrema (fotos y vídeos) creo que hay que censurarla, hacerla desaparecer de la Red en la medida de lo posible. Hoy he leído que el inventor de submarinos que sería el asesino ritual de una periodista sueca, tenía en sus ordenadores material ultraviolento de torturas y decapitaciones de mujeres. Es muy posible que antes de Internet hombres así no consiguiesen ese tipo de material, hoy disponible en la dark web.

        Y sobre los niños, creo que hay que cuidarlos no solo de este tipo de imágenes, sino también de la pornografía. No porque el sexo tenga nada de malo, sino porque la pornografía es otra cosa y se pueden ver muchas imágenes que les impresionan.

        Además, hay que tener en cuenta que no todo el mundo tiene la misma sensibilidad ante las imágenes y que hay un porcentaje de personas de alta sensibilidad (PAS) que se ven muy afectadas por ciertas imágenes violentas, etc.

        Viva la libertad de expresión y abajo la censura pero, como en todo, hay excepciones.

        Otra cosa son los chinos, donde no hay democracia y sí censura, que es, además, política e ideológica. Y no dudo que entre los dirigentes chinos pueda existir un alto consumo de aquello que prohíben a los demás.

        • Gorki - 9 octubre 2017 - 22:04

          Creo en las leyes y en los jueces, no creo en la censura previa, Si lo que digo es punible que se me juzgue, pero que no se me silencie.

    • Yoyano - 16 octubre 2017 - 16:44

      Es probable que existan algunos temas en que TODOS estaríamos de acuerdo que es conveniente suprimir.

      Es razonable suponer, que si los actos de terrorismo no se publicaran, los efectos del acto terrorista tendrían mucho menos eficiencia para provocar terror, y eso desalentaría los actos, cuya finalidad principal es la propaganda y el engorde del ego de los que están de acuerdo con el acto terrorista y la creación de imitadores.

      El problema es que esto vendría enganchado con el riesgo a la represión de cualquier forma de pensamiento independiente, y sería una cuestión de tiempo y estadística retroceder a los tiempos y modos de Torquemada, pero ahora sin tener la ventaja de poder volver a salir de esa prisión a los derechos humanos, a la libertad de pensamiento y a la libertad en general.

  • #011
    Xaquín - 6 octubre 2017 - 16:47

    Vamos avanzando… los seres humanos no son capaces de ponerse de acuerdo en que es pornografía o extrema violencia visual (ya no digamos de los límites de la libertad!). Pero un algoritmo (hecho por humanos!!) si que será capaz… ¡Seguimos de coña!

    Lo de China Popular es de Tribunal de la Haya… pero claro, ¿que pinta ese tribunal en la política de China Popular? Y, por cierto, que lo de «popular» tiene también su miga…

  • #012
    Pepa - 7 octubre 2017 - 14:27

    No se cuando pero si: internet se ha convertido ahora en un tabloid, en una gigantesca propaganda detras de la cual no se ven personas, no se ven autores. Y la verdarera, la fiable informacion se ha perdido con tanta pseudoinformacion… Porque intencionalmente, de repente, pero cuando, nos limitaron el acceso a las paginas de noticias gratuitas y fiables. Hace falta un control. Control que impida que no nos ahogaremos en esta pseudorealidad.

    Que no haya mas Hitleres, Stalines, Pol-Potes…

    Aunque las verdaderas victimas son los escondidos detras de la diversion, juegos y peliculas sobre nada – que se ofrecen el internet.

    • Gorki - 7 octubre 2017 - 20:33

      Porque intencionalmente, de repente, pero cuando, nos limitaron el acceso a las paginas de noticias gratuitas y fiables.

      ¿Nos han limitado le acceso las paginas de noticias gratuitas y fiables? …. ¡¡¡Y yo sin enterarme.!!!!

      ¿Desde cuando que ocurre eso? . ¿ Quién nos ha impuesto la limitación?

      • Pepa - 8 octubre 2017 - 20:26

        Hay noticias fiables – son las contadas por la gente que lo que esta contando es lo ve «desde la ventana de su casa». Y no desde el 5 piso de una oficina. No comentarios, no interpretaciones que siempre tienen un protectorado politico, sino entrevistas, reportajes limitadas a los hechos. Estas las valiosas no se cuentan sino estan renumeradas.

        • Gorki - 9 octubre 2017 - 22:07

          Has escrito Porque intencionalmente, de repente, pero cuando, nos limitaron el acceso a las paginas de noticias gratuitas y fiables.

          Solicito que me informes con que feche y quien «intencionalmente, de repente, nos limitaron el acceso a las paginas de noticias gratuitas y fiables»

          • Pepa - 9 octubre 2017 - 22:38

            No recuerdo la fecha. Pero las paginas de los periódicos que están suscritos mis familiares en el extranjero antes pasándome el enlace se abrían. Ahora detectando la ubicación, no. Es bueno contrastar la información sobre los mismos sucesos proveniente de países diferentes. Te sorprenderías.

Dejar un Comentario a Pepa

Los comentarios están cerrados