Enrique Dans

Mi columna de esta semana en Invertia se titula «Cuando el Estado subcontrata la inteligencia» (pdf), y trata sobre un fenómeno que avanza mucho más deprisa de lo que solemos admitir: la externalización silenciosa de decisiones públicas a sistemas tecnológicos desarrollados y operados por proveedores privados. No hablamos solo de la digitalización administrativa, sino de algo más profundo: de lo qué ocurre cuando becas, subsidios, inspecciones, evaluaciones de riesgo o asignaciones de recursos dependen de modelos algorítmicos cuya lógica real no es plenamente auditable ni comprensible por quienes, en teoría, deben rendir cuentas ante la ciudadanía.

En mi artículo analizo cómo este desplazamiento de capacidad decisoria tensiona principios básicos del Estado de derecho. El Reglamento General de Protección de Datos (GDPR) ya estableció límites claros a las decisiones basadas únicamente en tratamiento automatizado cuando producen efectos jurídicos significativos, como recoge su artículo 22. Más recientemente, la Unión Europea ha aprobado el Reglamento 2024/1689, conocido como Artificial Intelligence Act, que clasifica como «sistemas de alto riesgo» aquellos utilizados para evaluar la elegibilidad o el acceso a servicios esenciales y beneficios públicos. Es decir, el legislador europeo es plenamente consciente de que automatizar decisiones en estos ámbitos no es una cuestión técnica menor, sino un asunto de garantías democráticas.

La literatura internacional lleva tiempo alertando sobre los riesgos de esta deriva. La OCDE ha publicado análisis específicos sobre gobernanza y transparencia en la toma de decisiones automatizada en el sector público, como «Governing with Artificial Intelligence« o su informe sobre transparencia algorítmica en la administración, así como reflexiones sobre responsabilidad y rendición de cuentas en decisiones automatizadas. En la misma línea, el Consejo de Europa ha adoptado un marco convencional sobre inteligencia artificial que refuerza la idea de que los sistemas automatizados no pueden quedar fuera del escrutinio jurídico y democrático.

Los ejemplos concretos muestran que el problema no es teórico. El escándalo neerlandés de las ayudas al cuidado infantil, documentado por la propia Comisión Europea, evidenció cómo un sistema de detección de fraude puede generar daños masivos cuando combina automatización, sospecha estructural y ausencia de controles efectivos. Algo similar ocurrió con el sistema SyRI en Países Bajos, un algoritmo de puntuación de riesgo para fraude social cuya historia está recogida por organizaciones como Digital Freedom Fund. En Estados Unidos, el sistema MiDAS en Michigan acusó erróneamente a decenas de miles de personas de fraude en prestaciones por desempleo, un caso ampliamente analizado por IEEE Spectrum y explicado en detalle por la Universidad de Michigan. Incluso decisiones en sanidad pública, como en el caso del programa Medicaid de Idaho, han terminado en los tribunales, tal y como explica la ACLU.

Tampoco Europa ha estado libre de episodios similares en otros ámbitos, como el controvertido algoritmo de calificaciones utilizado por Ofqual en el Reino Unido durante la pandemia, cuyo análisis técnico puede consultarse en el informe de la British Computer Society. La preocupación académica sobre la forma en que los sistemas automatizados pueden generar decisiones opacas y difíciles de impugnar está presente en trabajos como el publicado en PLOS ONE bajo el explícito título «The algorithm will screw you«.

En España el debate es mucho más discreto, pero no inexistente. El informe de Digital Future Society sobre cuatro estudios de caso de sistemas automatizados en el sector público español y las muy meritorias iniciativas de Civio en torno a la transparencia de decisiones automatizadas muestran que también aquí existen algoritmos que influyen en derechos y oportunidades. Lo que falta es que esa discusión salga del ámbito técnico y se convierta en una cuestión política de primer orden.

Además, la externalización no se limita al Estado. En el ámbito de los seguros, por ejemplo, la utilización intensiva de modelos predictivos y segmentación de riesgos está transformando quién es asegurable y a qué precio. El debate regulatorio británico sobre prácticas de fijación de precios en seguros generales, documentado por la Financial Conduct Authority, y los análisis del Financial Times sobre el riesgo de que la inteligencia artificial convierta a algunas personas en «inasegurables» apuntan a un fenómeno más amplio: cuando las decisiones que estructuran el acceso a servicios esenciales se automatizan y se optimizan bajo lógicas comerciales, el impacto social puede ser profundo.

De eso va mi columna de esta semana: de asumir que no estamos simplemente modernizando procedimientos, sino redefiniendo dónde reside la inteligencia institucional y quién controla sus reglas. Si el Estado subcontrata la inteligencia, debe asegurarse de no subcontratar también la rendición de cuentas. Porque cuando los algoritmos deciden cada vez más cuestiones que nos afectan, la cuestión ya no es tecnológica, sino democrática.