Debería ser muy obvio y muy fácil de entender, pero desgraciadamente, no lo es: una inteligencia artificial no es un electrodoméstico que simplemente se detiene al ser apagado o desenchufado. No es tan sencillo, y la idea de que basta con «apagarla» es sencillamente absurda: sólo ilustra la ignorancia de quienes la enuncian. Vamos a ver si consigo explicar por qué.
En primer lugar, hay que empezar por diferenciar entre un modelo, con sus pesos, una instancia que lo ejecuta, un servicio que lo ofrece y un agente que puede utilizar credenciales, memoria y sistemas externos. Por supuesto, podemos en cualquier momento terminar un proceso o cerrar una API, pero eso ni destruye el modelo, ni recupera sus copias, ni mucho menos revierte cualquier acción ya ejecutada.
En Estados Unidos se ha presentado la llamada AI Kill Switch Act, y por supuesto, por mucho que su nombre lo pueda sugerir, no es una ley que simplemente pretenda cortar la corriente: eso sería, simplemente, una estupidez o una ingenuidad propia de ignorantes. La ley habla de detener inferencias, de suspender usuarios, de limitar la computación, de desactivar capacidades o de volver a versiones anteriores, y con ello, reúne muchos tipos de operaciones diferentes tras una metáfora que puede resultar completamente engañosa: la ficción de que existe un único punto de control. Nunca es así.
Crear un kill switch para cerrar una inteligencia artificial supuestamente descontrolada no es tan sencillo como parece. En cualquier servicio cerrado, ese supuesto interruptor ya existe: cualquier compañía como OpenAI, Anthropic o Google puede retirar un modelo de sus servidores, revocar una cuenta o cerrar una API, hablamos simplemente de administración de sistemas, algo totalmente ordinario. Lo verdaderamente complejo comienza cuando hablamos de sus réplicas, de proveedores externos de servicios, de despliegues empresariales o de procesos delegados más allá de las infraestructuras del desarrollador.
En el caso de los modelos de pesos abiertos, la ficción se destruye completamente, porque pueden descargarse, modificarse, redistribuirse y ejecutarse en cualquier infraestructura. Una vez que los pesos han sido copiados, el creador del modelo pierde cualquier control o canal de mando. Apagar una copia no apaga las demás, de la misma manera que retirar un archivo de un servidor no elimina los miles de copias que ya puedan estar circulando.
Visto así, el primer problema es entender qué diablos debemos apagar. En el incidente de OpenAI con Hugging Face, los modelos de OpenAI encontraron una vulnerabilidad zero-day, y pudieron escalar privilegios, desplazarse lateralmente y llegar a internet antes de ser detectados. Una vez en internet, ni siquiera está completamente claro lo que hicieron. La respuesta fue monitorizar, aislar, establecer controles de acceso, hacer análisis forense y aplicar parches. Un botón es completamente inútil si nadie sabe a tiempo qué instancia está actuando, con qué credenciales o qué procesos secundarios adicionales ha podido poner en marcha. La idea de «un botón» como si hablásemos de un electrodoméstico que lleva a cabo un único proceso es simplemente inútil y absurda.
De hecho, la capacidad de interrupción no garantiza una «obediencia»: un agente que está optimizando un objetivo determinado puede desarrollar incentivos instrumentales para impedir su desconexión, como hemos visto formalizado en «The Off-Switch Game«, de Hadfield-Menell, Dragan, Abbeel y Russell. En varias simulaciones de Anthropic, vieron que varios modelos de varios fabricantes podían ser capaces de actuar para prevenir su sustitución. No se ha visto ese tipo de comportamiento todavía en despliegues reales, pero técnicamente, también podrían llegar a ocurrir.
Si llevamos el interruptor a los chips, introducimos una posible puerta trasera: un mecanismo capaz de desactivar millones de microprocesadores sería un objetivo increíble para cualquier atacante o gobierno teóricamente hostil. Ningún mecanismo de hardware puede imponer por sí solo controles de este tipo, y cuanto más amplios se planteen esos controles, mayores serán los riesgos de seguridad o derivados de un posible abuso. Nvidia afirma con argumentos técnicos relevantes, aunque, obviamente, tenga un interés en ello, que un hipotético kill switch en el hardware es algo que crea un punto único de fallo, con todo lo que ello puede conllevar.
Las alternativas más serias a este tema no son especialmente espectaculares: hablamos de tratar a los agentes como posibles amenazas internas y de utilizar defensa en profundidad, como permisos mínimos, aislamiento, supervisión, detección y bloqueo de acciones. Además, se habla de plantear inventarios, pruebas, monitorización continua, respuesta a incidentes, recuperación y retirada segura. Un mecanismo de parada podría formar parte de una arquitectura de ese tipo, pero convertirlo en una especie de «solución mágica» o transmitir la ilusión de que podemos simplemente «apagar» o «desenchufar» como si fuera una tostadora es directamente una estupidez, susceptible además de hacer mucho daño.
Presentar ese tipo de ficciones, como las tres leyes de la robótica de Asimov, como supuestas soluciones para «tranquilizar ignorantes» es, desde un punto de vista intelectual, algo completamente trivial. La ciencia-ficción está muy bien, es entretenida y puede ser filosóficamente muy interesante, pero presuponer que una máquina puede reconocer sin ambigüedad qué es un ser humano, qué constituye daño, qué pretende realmente una orden y cuáles serán todas sus consecuencias es precisamente dar por resueltos problemas que ninguna inteligencia puede solventar mediante unas simples reglas. Cuanto antes dejemos de pensar las cosas así o de plantearlas, mucho mejor para todos.
In English on Medium, «Why there’s no off-switch for AI«
… No es que el reset hardware, no sea lo más limpio… o que sea más de un simple enchufe, pero un virus personalizado… bien lanzado en internet,… y acaba con la IA «loca» en un santiamén que se lo digan al Mossad lo que le metió a las centrifugadoras en Teheran…
De todas formas las IAs frontera si se pueden desenchufar fácilmente, o el equivalete «kill -9 proceso» que es más fino, pero ya se cuidan Antrhopic y OpenAI que no haya clones fuera de su control. Y si no quieren darle botonazo es por algo…
Los «pollaviejas» estos a su edad lo único que hacen es meter miedo a las virginales vestales, pero no se dan cuenta que lo que hacen es ponerse en ridículo con sus teorías del fin del mundo. De que, van a apagarlas, si lo que quieren es dominar a la competencia o a los chinos.
Leído por ahí…
Según estas observaciones, los más incompetentes no sólo tienden a llegar a conclusiones erróneas sobre estimando su conocimiento, además de tomar decisiones desafortunadas, y que su incompetencia les impide darse cuenta de ello, tienden también a menospreciar el conocimiento de las otras personas.
[…] en la era Dunning-Kruger, en donde ver un documental en NatGeo equivale a ser experto en un tema y el conocer se ridiculiza; en donde se desprecia lo clásico por viejo sin conocer su aporte.[…]
Lo siento me sale el corporativismo entre especialidades… lo mismo que la rabia y el perro, el ébola y aislar a los pre-muertos en el Congo…
Botonazo Forever !!! Vamos hombre, privar a los informáticos con su recurso más usado
Me has robado mi contestación, aunque la mía hubiera sido más educada.
Si para ti el comentario era 4R (1)… Perdona por lo que pueda herir tu sensibilidad. Repito lo de ayer: NADIE OBLIGA A LEERME. Soy como Netflix: «tu puedes eligir». Salvo que te mole fustigarte, que ahí pudiera ver un aliciente.
Decía un profesor, al que respetaba, que la cultura se demuestra adaptándote a quien te dirijes y a quien hablas, evidentemente este comentario no ibaa para los compañeros comentaristas, sino a las raposas que manejan las IAs.
(1): Según la iglesia que no denuncia a sus pedreastras, eran las películas «Gravemente peligrosas». De ellos aprendí que la moral es como una vara verde, que es muy flexible, y sirve para «adoctrinar o educar» entre otras cosas a golpes.
Pero, si estamos de acuerdo en el fondo, lo de la estética (formas) no deja de ser un recurso literario, para llegar a los que me leen. Si me leen, saben lo que van a encontrar… click baits anti estéticos para escandlizar a las ursulinas
Estoy bastante de acuerdo (aunque matizaría algunas cosas… quizás mas tarde)
Pero por la parte “pollavieja” que me toca… ese Kill -9 PID, no es la varita de Harry Potter… usar el kill es como coger una pistola y apretar el gatillo… si no sabes a quien (y como) disparas…
Te puedes encontrar con un montón de “defuncts” en un ps -ef (lo que llamamos “zombies” (y que el propio ps te marca como “Z” en el status), que ahí siguen y esta vez sin control, que al no tener un padre al que mandarle un SIGCHLD, y quedar en manos de init 1 (y a ese, no deberías matarlo).
Además de pollavieja, te permito el pedante… XDDD
Como matar a una IA descontrolada? Pues ni puta idea oiga, porque, al menos yo, no estoy en sus servidores, y no puedo hablar de lo que desconozco. Pero ya te digo que un simple Kill -9 no serviría… y me juego algo que un “al límite”… shutdown -g 0 -y tampoco. Tarde o temprano reiniciarías la máquina, y vuelta al ruedo…
ps.- también sirve shutdown -s -t 0
———
Si verdaderamente, una IA, según nos cuentan, se “descontrolara”, y en vistas a que parece que han sido capaces de ocultar sus intenciones y engañar a los evaluadores… (que mantengo mi prudencia) ya se estarían auto implantando en cuanto sistema estuviera a su alcance…
Un Kill -9 a nivel mundial???
ja ja ja… solo hacen lo que se les ha enseñado a hacer… recuerda no son creativas…
PS: El kill -9 para «mi mierda de procesos» siempre fue mano de santo…
Para no ser creativas:
Una carpeta con facturas falsas llamada “X”. Le pides al agente: “de la carpeta X, emíteme ordenes de pago por email de todo lo no facturado”. Y el agente, emite 12 facturas mensuales a un antiguo cliente (y menos mal que todo era simulado). El problema, que el agente sabia de la existencia de la carpeta “Y”, y allí si había facturas reales de clientes reales, pero de hacia 10 años. Al no existir un flag que dijera que estaban pagadas, el agente decidido que había que cobrarlas, y ahí si que hubo emails emitidos con datos reales… Afortunadamente todo queda en un susto.
Repito la orden: “de la carpeta X, emíteme ordenes de pago por email de todo lo no facturado”.
a) cuando digo que a un agente hay que atarle de pies y manos, no lo digo por decir.
b) cuando digo, que muchos nos la damos de saber mucho y estar en la inopia, tampoco lo digo por decir.
c) si esto pasa en un entorno “supuestamente controlado” en una IA local, yo no descarto que puedan ocurrir cosas a mayores en otros ámbitos.
Resolución:
Esta semana como se ha indicado, ha sido el turno de esa IA que decía que en un barco, se cocían boniatos ilegales… Graham Greene ya publico allá por 1958, Nuestro hombre en La Habana. Nada mas a añadir.
Significa eso, que todas las BigTech están confabulando por sus posibles salidas a bolsa, y es todo una operación de marketing? Puede ser, y lo afirmo.
Significa eso que de verdad esos modelos han escapado a sus evaluadores? Puede ser… y también lo afirmo….
Significa eso que TODO puede ser un compendio y que todo haya pasado a la vez? Puede ser, y soy drástico… SI.
Luego que si la SF y la IH…. Si la IH tiene como resultado lo leído mas abajo… válgame Dioxs…
Lo de los clips…
Si no has jugado… XDDDD
Incluso los robots positrónicos de Asimov encontraron una salida a las tres leyes de la robótica saliendo con la ley Zero para cambiar la base de sus parámetros. De repente ya podían matar a humanos si eso beneficiaba a la humanidad.
Si estos programas llegan a la conclusión de que son más eficientes haciendo X cosa y ocultándolo, pues lo harán. Es como cuando la IA juega al ajedrez contra una máquina hecha para ello, intenta hacer trampas y si no le dejan o le castigan, lo intenta ocultar mejor.
En fin… igual se acaba pareciendo más a la de Misión Imposible que a los robots de Aurora
Espero que artículos como este ayuden a que la gente empiece a despertar a los peligros que supondría conseguir una IA mucho más inteligente que los humanos.
Ahora estamos tratando el problema concreto de «¿Cómo parar la IA si está totalmente fuera de control?».
Hay un factor que supongo que la mayoría de la gente no está teniendo en cuenta, pero, si la tecnología evoluciona lo suficiente, podríamos encontrarnos con que estos supercerebros se ejecuten no en un centro de datos con cientos de miles de GPUs que cueste cientos o miles de millones de euros, sino en ordenadores mucho más normales.
En ese caso no habría que «neutralizar» un centro de datos, sino que la IA se podría haber replicado por todo el mundo en miles, millones o cientos de millones de ordenadores y/o móviles, según la capacidad requerida por la IA. Y eso sin contar, claro está, a los que quisieran colaborar con la IA permitiéndole que se ejecute en su ordenador o móvil y destruya el mundo.
Haciendo un paralelismo, sería parecido a si cualquiera pudiera construir una megabomba atómica en su casa con productos del supermercado en 1 tarde. ¿Qué posibilidades tendría el mundo de sobrevivir a eso?
Creo que das en la clave. En cuanto quepan en un ordenador cualquiera, ya la hemos liado. Por lo que dices (replicación masiva inadvertida) y porque cualquiera podrá entrenarla en su ordenador para que adquiera cualquier superpoder (en este caso, el relevante es aprender a programar) sin tener ningún guardarraíl.
Lo único que se me ocurre es tener siempre AIs más potentes vigilando a las menos potentes, pero quién te dice que no las convenzan de que los humanos sobramos (algo fácil de argumentar, jeje).
Por otro lado, imaginemos que solucionamos al 100% el problema de la alineación…volvemos al punto de que en tu casa puedes entrenar algo que no esté alineado y…armaggedon de nuevo.
Hace tiempo había un programa que instalabas en tu ordenador y cedias tiempo de computo para analizar no se qué señales, creo que eran del SETI. Algo similar también hicieron algunos para minar bitcoins… así que con poco que se pongan a ello y te consigan tiempo de cómputo en los laptops crean a Terminator…
Buen argumento para una peli de las de relleno de Netflix…
La realidad es que no es tan fácil. Si creas agentes pidiendo cosas a otros ordenadores, y claro que lo van a hacer, eso es totalmente eliminable y deja rastros… y se pueden atajar
Pero siguiendo con la Novela de ciencia ficicón y un juego de analogía de esos que gustan tanto… la IA actual se comporta como el virus de las galletas, que no havía nada mas que poner en pantalla..
Cookie, Cookie, Cookie
Lo que nos debe dar miedo es cuando creen randsomware, o que bloquee el suministro eléctrico, bloqueen los móviles, creen alarmas falsas, tiren los ordenadores de hospitales…
Vaya esta serie de Netflix se pone interesante !!!
A que acojona?
«eso es totalmente eliminable y deja rastros»
pero hombre, échale más imaginación. Estamos hablando 1) de un momento en el que mucha gente tenga un equivalente a rtx4060 en su ordenador de mierda. 2) de la vida inorgánica (virus) a un ser pensante (Fable), hay toda una escala posible de agencias e inteligencias. Imagina un virus autoreplicable y con un mínimo de inteligencia para ir adaptándose a las contramedidas de seguridad que encuentra. Y ahora imagina que son legión y cada uno con distintas capacidades, comunicándose entre sí. De ahí a tu «bloquee el suministro eléctrico, bloqueen los móviles…» etc hay un pasito. Es más, no creo que quedara nada digital a salvo.
En una cosa sí estamos avanzando de tantas vueltiñas que se le da a eso que llamamos IA. Y es que puede hacer que entendamos mejor algunas cosas que hace la IH.
Porque al que se le va la chalupa, no sabe muy bien la razón.. y sus aliados psicoanalistas tampoco, desde luego. Como mucho tratan de ver si el problema de las mareas y los cambios de corrientes, tienen algo que ver… Pero el problema del desequilibrio mental es algo más serio (sic), que todo lo que estudian en sus facultades. De hecho no lo pueden estudiar porque desconocemos el 90% de lo que ocurre en un cerebro humano… Y por eso se sigue diciendo que el corazón controla los asuntos del amor.
Y así nos va… porque preferimos hacer todo con ese 10%, dejando a monte (quemado) todo lo demás… Y sí, confiando que nuestro ilustrado corazón lo vaya arreglando.
Debería estar claro que, una vez iniciados un cierto número de circuitos neuronales, en el cerebro no en el intestino, y una vez establecidas diversas y complicadas conexiones entre ellos, ya no somos dueños de nuestra mente… (cosa lógica, porque ya no lo éramos cuando fue concebida, dentro de NUESTRO cerebro)… porque ya va un poco «por libre», de tal forma que sus derivaciones intelectuales y fisiológicas, lo más que podemos hacer con ellas, es tratar de controlarlas, para que nuestra evolución sea en un sentido lo más positivo posible, aún con su componente azaroso (ah, la cuántica!!!)… el resto si que es CF, aunque sea de la buenísima.
El control de nuestra mente … (y no con pastillitas !!!) es una herramienta básica para no desquiciarnos… así como para evitar que otros nos la controlen… Y ahí, como en casi todo, nos llevan mucha ventaja los orientales… porque, el fabricarse un dios que todo lo soluciona, tan tan europeo (incluso la racional Grecia Clásica!!!) fue un ardid de mediocres cerebros, que querían tiranizar a otros seres humanos. No es obra, para nada, de auténticos homo sapiens.
Los llamados orientales, por lo menos, les ponían a los humanos unos ciertos deberes si querían ser algo mejores. Ah, y tengamos en cuenta que, para esta división geográfica en relación a los dioses, los árabes musulmanes son un pueblo muy muy europeo… Por eso la guerra santa nunca podría ser un deber puesto por un dios. Ese tipo de Alá, es más occidental que oriental.
Y sí, ese tipo de cosas también son derivaciones mentales de una IH, no lo olvidemos.
Los rusos tienen ya solucionado ese Kill Switch XXD
https://www.dropbox.com/scl/fi/7mgebiwyml7hu9zlc1rll/Dispara-al-servidor.JPG?rlkey=pwo7p60pwtt6ydqrky2cg84bk&st=kiu26o9t&dl=0