Geoffrey Hinton y los peligros de la tecnología

IMAGE: Yasmin Dwiputri & Data Hazards Project - Better Images of AI (CC BY)

La noticia de que Geoffrey Hinton, considerado por algunos «el padrino de la IA» por sus desarrollos en el campo del deep learning, abandona Google tras diez años en la compañía para poder manifestarse de manera abierta sobre los peligros de la tecnología, ha servido a muchos, como hizo la carta abierta de un grupo de investigadores de hace aproximadamente un mes, para demonizar todo aquello que se base en algoritmos de machine learning bajo el pretexto de que pueden ser tremendamente dañinos para la sociedad.

Repito lo que dije hace un mes: el hecho tecnológico es inevitable. Las tecnologías no pueden de ninguna manera «desinventarse», y si alguien ve posibles ventajas en su incorporación a una tarea determinada, lo hará. Tratar de impedirlo es inútil. Podemos aspirar a regularlo, como se regula absolutamente todo, pero para regular algo, necesitamos en primer lugar entenderlo bien, de manera holística, con todas sus posibilidades y sus riesgos.

El propio Hinton, tras ver cómo The New York Times había publicado el artículo que se refería a él, usó Twitter para aclarar que no había abandonado Google para criticar a la compañía, y que, de hecho, la compañía había actuado de manera muy responsable con respecto a esa tecnología. Lo dijimos en su momento: Google rechazó lanzar productos basados en LaMDA porque estimaba que una tecnología con ese potencial debía estar mejor controlada, más libre de posibles problemas. Llegó OpenAI y lanzó ChatGPT sin plantearse sus posibles errores, en el mejor estilo Silicon Valley: tú lanza, y ya veremos. El resto es historia.

Para Hinton, lógicamente, el problema no está en la tecnología, sino en el uso que se haga de ella. Hablamos de una tecnología capaz de llevar a cabo un tipo de automatización enormemente sofisticada: nada que ver con lo que tradicionalmente hemos entendido por automatización referido a tareas repetitivas, sino algo mucho más potente, que algunos tienden, de hecho, a antropomorfizar, a confundir con el pensamiento humano.

Me explico: el pensamiento humano se desarrolla de una manera inductiva a partir de la adquisición de datos. Dame un proceso, y mi cerebro tratará no solo de entenderlo, sino además, de utilizarlo como modelo para la siguiente ocasión en que ese proceso aparezca. Dame muchos procesos parecidos, y aprenderé mejor lo que puedo esperar de ellos, cómo tratarlos, o incluso cómo, si es posible, influir en ellos. Eso es exactamente lo mismo que hace una máquina: a partir de un montón de datos, modeliza mediante algoritmos estadísticos muy avanzados, los procesos que hay en ellos.

Muchas personas llevan a cabo trabajos que son profundamente mecánicos, y que de hecho, van siendo progresivamente sustituidos por tecnología, por máquinas que, por lo general, los llevan a cabo de manera ventajosa porque además de ser más baratas, non se cansan ni cometen errores. Cuando elevamos el significado de la automatización para convertirla en automatización sofisticada, esa frontera también se resitúa a otro nivel, y muchos más trabajos pasan a ser prescindibles y a ser desarrollados por máquinas en lugar de por humanos. Eso es completamente inevitable.

Durante muchos años, nuestras posibilidades de desarrollar esos modelos más sofisticados chocaron con las limitaciones de la tecnología. Los modelos que intentábamos utilizar no eran suficientemente potentes para la complejidad de la tarea, y eso conllevaba limitaciones importantes en el número de parámetros utilizados. La realidad es que la inmensa mayoría de los procesos dependen de muchísimas variables, algunas de las cuales podemos medir, y otras muchas que no podemos, variables que, además, se correlacionan entre sí de muy diversas maneras.

¿Qué ha cambiado? Simplemente, que OpenAI aplicó la metodología del apalancamiento habitual en Silicon Valley a este campo: logró una inversión inicial muy elevada que solía estar fuera de alcance de este tipo de proyectos salvo para compañías como Google y muy pocas otras, obtuvo además la participación de una Microsoft que le permitió utilizar su nube a cambio de créditos convertibles en acciones, y fue capaz de crear un modelo con miles de millones de parámetros que es capaz de, en primer lugar, manejar extremadamente bien algo tan complejo como el lenguaje humano y, además, de entender su estructura para seleccionar y combinar los elementos de su enorme base de datos para responder a lo que se le plantea.

Esto es muy importante: responder a lo que se le plantea no implica que lo haga bien. El modelo simplemente recombina lo que encuentre que identifique referido al tema planteado, y responde con una serie de técnicas, que en muchos casos implica que «alucine», es decir, que prevea relaciones que, en realidad, no están ahí. ¿Llamativo? Muchísimo. ¿Interesante? Sin duda. ¿Infalible? Ni por asomo. Pero sobre todo, ¿piensa como una persona? No, en absoluto. Una persona tiene una intención, una consciencia, un interés o intereses en lo que hace. Los modelos generativos no la tienen, ni la pueden tener. No están vivos, ni lo estarán. Son simplemente correlaciones estadísticas muy sofisticadas, pero sin más intención que la que les queramos dar en cada momento.

El problema surge con su denominación, «inteligencia artificial». Llamar inteligencia artificial a algo que no es inteligente – son recombinaciones estadísticas de datos, no inteligencia – y que, además, no es en absoluto artificial – nada hay más natural que los datos que hemos generado nosotros mismos – implica mitologizar la tecnología, algo a lo que, además, los humanos somos particularmente proclives. Cuando surge una tecnología cuyas posibilidades nos abruman, tendemos a considerarla «magia», como dice la tercera ley formulada por el escritor de ciencia-ficción Arthur C. Clarke, «cualquier tecnología lo suficientemente avanzada es indistinguible de la magia».

El problema, por tanto, no está en la tecnología, sino en lo que decidamos hacer con ella. Lo que preocupa a Hinton no es el desarrollo de algoritmos y modelos, sino la posibilidad de que, llevados por una competencia que lo maximiza todo, sean empleados para cuestiones que puedan resultar peligrosas. Y es evidente que esto puede ocurrir, sobre todo si, además, la tecnología vuelve a quedar, como ocurrió con el desarrollo de internet, en manos de unas pocas compañías. De ahí que la preocupación no deba estar en el desarrollo tecnológico, sino en su incorporación a según qué cosas. ¿Debemos regular la tecnología? Por supuesto, como regulamos todo. Pero debemos regularla, fundamentalmente, para mantener bajo control lo que esa tecnología puede hacer, evitando la concentración en manos de unas pocas compañías, y aplicando mano dura a las compañías que pretendan utilizarla de manera abusiva o dañina.

Entre utilizar algoritmos para entender la salud de una persona a partir de lecturas continuas – que por tanto, gracias al poder de la estadística, ya no tienen que ser exactas o precisas, sino simplemente consistentes en su error – es muy interesante. Poner a un algoritmo a cargo de un rifle de precisión en una frontera conflictiva, u otorgarle el control del botón nuclear no lo es, y además, es una barbaridad. Utilizar algoritmos para asistirnos en muchas tareas puede ser interesante, pero emplearlos para que los anuncios se personalicen hasta el punto de que nos llamen mucho más la atención no lo es, y debería prohibirse. Ese tipo de fronteras no son, en realidad, tan difíciles de entender. Solo es cuestión de proyectar con un mínimo de visión sus potenciales efectos futuros.

En muchos sentidos, estamos repitiendo la historia. El desarrollo de internet fue maravilloso, pero su uso por unas pocas compañías para perseguir a los usuarios, capturar todos sus datos en intereses personales y acosarlos de manera persistente para que hiciesen clic en anuncios no lo fue. Proteger la privacidad, crear algoritmos no discriminatorios, evitar comportamientos monopolísticos que restrinjan la competencia y la oferta, impedir el fraude y el engaño y favorecer la innovación son cuestiones que tenemos que aprender de lo que ocurrió anteriormente, y que sin duda, deberán estar sujetas a regulación.

Pero eso no implica que la tecnología sea mala, ni mucho menos que vaya, como creen algunos, a adquirir consciencia de sí misma y a elegir matar a todos los humanos. Eso son películas y lo van a seguir siendo. No pongamos, por favor, al bueno de Hinton en el papel de demonizar la tecnología, porque sin duda, no es lo que pretende. Pongamos las cosas y a las personas en su sitio: es, simplemente, alguien que avisa sobre la necesidad de controlar no la tecnología, sino lo que algunos pretenden hacer con ella. Y en eso, claramente, tiene razón.


This article is also available in English on my Medium page, «Let’s be clear about what Geoffrey Hinton is saying about deep learning»

46 comentarios

  • #001
    Nortenio - 4 mayo 2023 - 15:31

    Es apasionante que podamos vivir esta revolución que está emergiendo. Muy de acuerdo en el análisis, menos leyendas y más ciencia.

    Regular bajo principios éticos es una situación inédita y ofrece la oportunidad de establecer la futura relación del hombre con la máquina, ahora protointeligente. Una oportunidad para converger valores entre las civilizaciones, en lo común. Flipante

  • #002
    Juan T. - 4 mayo 2023 - 16:39

    El problema ya no es tanto el mal uso a nivel personal o de pequeños grupos de delincuentes digitales, hackers, terroristas, y demas familia, que también.

    El problema es que estados con grandes presupuestos y probada falta de escrúpulos como Rusia, Corea del Norte, Irán ,etc (no tanto China , que la utilizará obviamente para disputar la supremacía mundial a USA, al igual que lo hará esta última, pero a la que no veo utilizar la IA de manera que menoscabe su imagen a nivel mundial ademas de sufrir las represalias correspondientes ) , dediquen una fuerte inversión en este asunto, en vistas a «defenderse» de Occidente de manera asimétrica, visto que no pueden hacerlo de otra manera.

    Pero eso no lo soluciona un parón en la IA; muy al contrario, lo agravaría, por que sería una ventana de oportunidad para que ellos tomaran ventaja.

    Es mas , por la cuenta que nos trae, debemos acelerarla a nivel de investigación al menos, aunque no salga al púiblico, por la cuenta que nos trae si se nos adelantan los que no queremos.

  • #003
    Francisco - 4 mayo 2023 - 17:19

    Muy de acuerdo con la práctica totalidad del artículo.

    La mayor preocupación que me surge, aunque supongo que nuestros padres y abuelos pensaron algo parecido con anteriores avances tecnológicos, es que la IA puede suponer el avance tecnológico con mayor capacidad de penetración y “afectación” social de la historia (pensemos en IA en biotech o militar) llegando potencialmente toda la humanidad, y además, de forma tremendamente rápida.
    Por lo tanto, el nivel de análisis, comprensión, compromiso e inversión que conllevará su regulación será un reto mayúsculo que no estamos ni llegando a atisbar. Es decir, estamos dando probablemente el mayor “poder” de la historia a unos pocos señores (que ya son muy poderosos por cierto) cuyos intereses pueden no ser el del bienestar global.

  • #004
    manuel - 4 mayo 2023 - 17:21

    Hace unos días, comentando el tema en la universidad, planteaba la suerte que tenemos por vivir -en primera persona- emociones similares a las que vivieron quienes vieron por primera vez el invento de los hermanos Lumiere. Y, por supuesto, la responsabilidad que esto planteaba. A veces la gente parece que quiere quedarse únicamente con la anécdota.

    Para debatir en mi clase de mañana, he pedido a chatGPT que desarrolle tres inventos que podrían cambiar la humanidad: la rueda, el cuchillo y la escritura, publicados en el madaFakeNews…

    Como dice Luis Fernández: ¿acaso no nos damos cuenta que esto ya lo hemos vivido?

  • #005
    Fernando - 4 mayo 2023 - 17:53

    Genial explicación. Otra vez, muchas gracias…

  • #006
    Gorki - 4 mayo 2023 - 18:21

    Dame un proceso, y mi cerebro tratará no solo de entenderlo, sino además, de utilizarlo como modelo para la siguiente ocasión en que ese proceso aparezca. Dame muchos procesos parecidos, y aprenderé mejor lo que puedo esperar de ellos, cómo tratarlos, o incluso cómo, si es posible, influir en ellos. Eso es exactamente lo mismo que hace una máquina: a partir de un montón de datos, modeliza mediante algoritmos estadísticos muy avanzados, los procesos que hay en ellos.

    Si tienes razón, estás describiendo el 90% de los trabajos administrativos que realizan funcionarios y administrativos en las oficinas.

    La cosa es aun mas fuerte de lo que yo había imaginado.

    • Lua - 4 mayo 2023 - 18:25

      La IA ya la utilizaba mi madre.
      Se llamaba Chancla.io.
      La de mi padre era host-IA.

      Esta todo invent.ado XDDD

      (vale, vale…. ya me voy…) XDDD

  • #008
    SANTAS PASCUAS - 4 mayo 2023 - 18:41

    Creo que Gorki y Lua que habéis roto la magia con lo bien que iban los comentarios hoy, a saber donde podían llegar.

    De hecho había escrito un comentario comparándolo con Ortega, y lo he mandado al recycle bin, porque quería seguir experimentando la sentía algo parecido con una lectura de un artículo del blog

    Por favor seguid comentando, que esto iba muy interesante antes del interruptus.

    Sigo con las palomitas en silencio

    • Lua - 4 mayo 2023 - 19:08

      Bueno, yo solo le he hecho una guasa a Gorki, porque se que le gusta cuando enlazo algun tuit, o le suelto un chascarrillo… :P

      El articulo en si, me parece bien.
      Ahora, eso si, le recrimino a eDans que hable de «demonizacion» de la IA, tergiversando el sentido en el que se han dicho las cosas, tanto por parte de Hinton, como de la carta famosa. Algo en lo que por lo que veo, estan cayendo todos a cuatro patas.

      Nadie (que me lo demuestre alguien) ha dicho que se detenga la IA. Que se deje de investigar/promocionar. Nadie ha dicho que se den pasos atras.

      Se ha hecho hincapie, y eso si es demostrable, en el hecho de que nos estamos metiendo en un mundo que se nos puede ir de las manos si no sabemos controlarlo (la famosa caja negra).

      Se ha dicho, que hay que imponer limites (a los sesgos principalmente). Y que hay que verificar bien, las cosas que hacen o vayan a hacer las BIG con este tema. Demasiado poder en pocas manos. Y eso precisa de control (por eso yo siempre hablo de la necesidad de una IA «abierta» de verdad).

      Por quien? Pues ni puta idea. Pero necesita ser controlado de alguna manera.

      Estamos todos de acuerdo en que la tecnologia en si no es mala, como no lo es un martillo o una pistola. Depende de quien empuñe. Pero no hace ni cinco articulos puse un enlace a una noticia donde los señores de Palantir, habian redirigido la IA a conflictos belicos. Si, el problema es del humano que diria (y seguro que dira) Xaquin.

      Luego me explayo mas que tengo asuntos pendientes… XDD

      • SANTAS PASCUAS - 4 mayo 2023 - 19:27

        OK.

        Antes me comí parte del texto

        «porque quería seguir experimentando la disonancia cognitiva de lo que piensa Hinton, no sentía algo parecido con una lectura de un artículo del blog hace tiempo, ceo que nos está manipulando» de ahí la referencia a nuestro egregio manipulador: Ortega

        En otras palabras

        «Estoy de acuerdo pero la música coral del conjunto no la acabo de encajar»

        Quiero oir más del asunto… ;-)

        • Gorki - 4 mayo 2023 - 21:43

          En mi opinión la AI, como todo lo que se ha inventado, es como el invento de la navaja. Depende de la mano que la utilice, puede ser útil para, comer un filete, para la poda de la vid, para capar a los gorrinos, o para acabar con la vida del suegro.

          Todo depende de la mano que la use. Se me ocurren tanto usos de la AI, maravillosos para la humanidad, (por decir uno , ponerla a reciclar basura urbana o reforestar páramos estériles), como usos horrorosos, (como ponerla a los mandos del botón de los cohetes atómicos, o a dictar leyes).

          Todo depende de los usos que los RACIONALES, demos a nuestro inventos.

          Lo que me ha preocupado realmente hoy, es que veo con mas claridad, el ingente número de puestos de trabajo que pueden eliminarse con el uso de la AI. El «chupatintas», funcionario, o empleado, cuya habilidad es resolver el mismo tipo de expedientes un día tras otro, puede llegar a desaparecer. Es mas de lo que yo había contabilizado. ,

          • Lua - 4 mayo 2023 - 22:04

            Pues fijate… yo abogaria por eso… siempre he dicho que sobra funcionariado (de hecho en España, superamos con creces la media europea de funcionarios por miles de habitantes).

            Pero para eso, haria falta que esa «IA» (me resigno a llamarla asi) fuera realmente efectiva. Si con los que tenemos ya nos comemos marrones, no quiero imaginarme, con el estado actual de «alucinacion», la que se podria liar…

        • Lua - 5 mayo 2023 - 09:33

          Ayer comente que nadie había dicho detener la IA. Pues me equivoque.

          “If that’s our state of ignorance for GPT-4, and GPT-5 is the same size of giant capability step as from GPT-3 to GPT-4, I think we’ll no longer be able to justifiably say “probably not self-aware” if we let people make GPT-5s. It’ll just be “I don’t know; nobody knows.” If you can’t be sure whether you’re creating a self-aware AI, this is alarming not just because of the moral implications of the “self-aware” part, but because being unsure means you have no idea what you are doing and that is dangerous and you should stop.”

          Eliezer Yudkowsky, Revista Time 29/03/23

          Anoche leí la editorial y su enfoque es interesante. Aunque tenga un cierto aire de ciencia ficción, no sería descartable:

          ”To visualize a hostile superhuman AI, don’t imagine a lifeless book-smart thinker dwelling inside the internet and sending ill-intentioned emails. Visualize an entire alien civilization, thinking at millions of times human speeds, initially confined to computers—in a world of creatures that are, from its perspective, very stupid and very slow. A sufficiently intelligent AI won’t stay confined to computers for long. In today’s world you can email DNA strings to laboratories that will produce proteins on demand, allowing an AI initially confined to the internet to build artificial life forms or bootstrap straight to postbiological molecular manufacturing.”

          Por supuesto, no me voy a convertir en un terraplanista anti-IA. Pero sigo diciendo, que hay que lograr consensos, establecer limites y tener mucho, pero que mucho control sobre las IA’s, sobre todo con las que si puedan llegar a un nivel de autoconsciencia:

          ”An aside: None of this danger depends on whether or not AIs are or can be conscious; it’s intrinsic to the notion of powerful cognitive systems that optimize hard and calculate outputs that meet sufficiently complicated outcome criteria. With that said, I’d be remiss in my moral duties as a human if I didn’t also mention that we have no idea how to determine whether AI systems are aware of themselves—since we have no idea how to decode anything that goes on in the giant inscrutable arrays—and therefore we may at some point inadvertently create digital minds which are truly conscious and ought to have rights and shouldn’t be owned.”

          • SANTAS PASCUAS - 5 mayo 2023 - 12:38

            Frases de este «experto» traducidas al español, por si no se aprecía bien su delirium tremens…

            «muchos investigadores inmersos en estos temas, incluyéndome a mí, esperan que el resultado más probable de construir una IA sobrehumanamente inteligente, bajo cualquier circunstancia remotamente parecida a las actuales, es que, literalmente, todos en la Tierra morirán. […] No es que no puedas, en principio, sobrevivir creando algo mucho más inteligente que tú; es que requeriría precisión y preparación y nuevos conocimientos científicos».

            «Si alguien construye una IA demasiado poderosa, en las condiciones actuales, lo que auguro es que todos los miembros de la especie humana y toda la vida biológica en la Tierra mueran poco después»

            «Para visualizar una IA sobrehumana hostil, no imagine a un pensador sin vida que habita dentro de Internet y envía correos electrónicos mal intencionados. Visualice a toda una civilización alienígena, pensando a millones de veces la velocidad humana, inicialmente confinada en los ordenadores […] Una IA lo suficientemente inteligente no permanecerá confinada a los ordenadores durante mucho tiempo. En el mundo actual, usted puede enviar cadenas de ADN por correo electrónico a laboratorios que producirán proteínas a demanda, permitiendo que una IA inicialmente confinada en Internet construya formas de vida artificiales o pase directamente a la fabricación molecular postbiológica»

          • Lua - 5 mayo 2023 - 13:39

            Seguire manteniendo mi postura…. ni si… ni no…

            solo cauto

  • #016
    Matt - 4 mayo 2023 - 20:41

    Podemos filosofar lo que queramos pero la realidad es que sí, va a ser dañina para la sociedad y se va a emplear para todos esos malos usos que has señalado.

    Podemos vivir en Narnia y creer que puede ser que los seres humanos y las compañias se comportaran modelica y eticamente … pero no va a ser así, nunca es así: las grandes compañias la monopolizaran, se pondrá a «un algoritmo a cargo de un rifle de precisión en una frontera conflictiva» y todos los usos militares que se les ocurran, se utilizara para la publicidad ultrasegmentada, los algoritmos discriminaran porque seran entrenados para ello, etc. … y ni se regulará adecuadamente ni se impondrá mano dura a las compañias que la utilizen de manera abusiva y dañina porque en el mundo neoliberal en el que vivimos las grandes empresas estan por encima de los estados y tienen la impunidad practicamente garantizada.

    • Guillermo Galeano Fernández - 5 mayo 2023 - 11:39

      Como ha ocurrido con el software privativo y la filosofía del software libre, y posteriormente, el código open source; pienso que será el mismo ser humano, con su trabajo colaborativo y abierto, el que diseñará las soluciones para competir con las grandes empresas, por supuesto, al comienzo, competir con los recursos casi ilimitados será difícil, cómo siempre lo fue, pero a medida que pase el tiempo, también avanzará a pasos agigantados y ya se pueden ver ejemplos, como los modelos pre entrenados disponibles junto con el conjunto de datos que han sido utilizados para su entrenamiento ejemplo:

      https://huggingface.co/models

      • F3r - 6 mayo 2023 - 11:38

        Discrepo. El dineral que cuesta entrenar un LLM (gpus A100 a miles) es la clave para su eficiencia. Difícilmente un esfuerzo open source puede competir económicamente contra eso.

  • #019
    Prubio - 4 mayo 2023 - 22:28

    Sin ánimo de caer en la falacia «ad hominem», quizá convendría indagar un poco acerca de la figura del ex-empleado de Google que se ha jubilado con 75 años. ¿A qué se dedicaba en Google?, ¿cuál es su involucración en las líneas de desarrollo IA en Google? .¿El apelativo de «El padrino de la IA» es acertado por la cantidad de papers o de bases teóricas y prácticas que ha definido? ¿O se trata de generar clicks más que otra cosa?

    Si el peligro de la IA es que vamos a tener que cuestionarnos todo lo que veamos en las noticias (como ésta) sin duda serán buenos tiempos para la analítica, la crítica constructiva…. la filosofía, y en definitiva todo lo que nos diferencia como humanos.

    Gracias por compartir y divulgar como siempre, Enrique.

    Pablo

  • #020
    Javier Lux - 5 mayo 2023 - 08:23

    Si bien todos vemos los peligros de la IA a corto plazo (Fakes, mayores niveles de manipulación de la opinion), medio plazo (pérdida de puestos de trabajo no lo suficientemente rápido reemplazados/recolocados), sí que hay un aspecto de IA inquietante al largo plazo y que no sabemos muy bien como puede impactar. Este es la pérdida del control de sistema y resultados indeseables. Me explico:

    Hasta hoy, el creador de un sistema informático tenía total control mental del sistema. Si se detectaba una bug que estuvo años escondido, el creador, o los que mantienen el sistema, sabían más o menos donde podía estar el problema, activar las trazas del programa y mirar detenidamente hasta encontrar el problema. Corregirlo, compilar y asunto arreglado.

    En cambio hoy con un gigantesco LLM que analizat PETABytes de información, la pérdida de control de lo que hace el sistema es inquietante. Si se detecta en esas circunstancias un mal funcionamiento, error que puede aparecer tras años de uso de gigantesco LLM, nadie, ni siquiera el creador del sistema, es capaz de tener idea del porqué el sistema se ha comportado de manera errónea/inesperada. El aprendizaje de LLM es imposible de simular en nuestra mente ya que no nos acercamos ni remotamente a esa capacidad proceso de datos (Big Data) y aprendizaje automático (ML).

    Si claro podremos desconectar el aparato, pero…. y si el aparato toma 1.000 decisiones al día que son muy beneficiosas para el operador del sistema, y solamente vemos una mala decisión cada dos años que causa algún daño a alguien ajeno al negocio…. la tentación de no apagar el sistema y hacer un fondo para pagar abogados una vez cada dos años, es muy fuerte, y peligrosa.

  • #021
    Chipiron - 5 mayo 2023 - 08:38

    Ayer vi una entrevista con Geoffrey Hinton. Además de parecerme una persona honesta y modesta, me llamó mucho la atención su predicción:

    Decía que hasta hace 2-3 años creía que una verdadera AGI no llegaría en menos de 50 años. Pero viendo el avance de los LLM ahora cree que puede llegar en menos de 10 años.

    Son inteligentes los LLM? Bueno, yo se que sus outputs son fruto de procesos de cálculo estocástico con una masiva base de datos de entrenamiento. Y su comportamiento se basa en un aprendizaje (o experiencia previa).

    Pero el debate, hasta cierto punto, es filosófico, pues primero deberíamos definir (y entender con profundidad) que es la inteligencia y, en especial, que es y como se genera la inteligencia humana.

    Obviamente pasa lo mismo con la consciencia, aunque en ese aspecto si que tengo muchísimo más claro que un LLM no tiene ningun tipo de consciencia. Pero de inteligencia… pues depende que como la definamos.

    El famoso científico Roger Penrose siempre ha sostenido que la consciencia humana surge de interacciones de fenómenos cuánticos dentro de nuesrto cerebro. Es decir, que si le damos una interpretación estadística a la teoría cuántica, no dejaría de ser (según su teoría) un proceso estocástico fisico-biológico que nosotros intentamos recreeear «in silico».

    Y finalmente, otra perla, asociada al principio de incertidumbre de Heisenberg: Cuanto más elaboradas sean las respuestas de estos LLM, más se alejarán de una respuesta con una fiabilidad total.

    Me explico: 3+3=6, es una realidad objetiva, pero dar una opinión sobre un tema complejo no siempre tendrá una respuesta única y objetiva.

    Resumiendo: cuanto «más inteligentes» se vuelvan los LLMs y les preguntemos cosas más complejas, menos fiables se volverán, pues en muchos aspectos no existe una única respuesta con una verdad absoluta.

    Un saludo!

  • #022
    Michel Henric-Coll - 5 mayo 2023 - 10:54

    Me parece que EDans se precipita bastante cuando declara:

    «Una persona tiene una intención, una consciencia, un interés o intereses en lo que hace. Los modelos generativos no la tienen, ni la pueden tener. «.

    Puesto que nadie sabe qué es exactamente la conciencia ni como aparece, me parece muy atrevido decir que las evoluciones de la I.A. nunca la tendrán.

    En cuanto a lo que añade: «El problema surge con su denominación, «inteligencia artificial». Llamar inteligencia artificial a algo que no es inteligente etc.», me recuerda la vieja campaña de IBM sobre que los ordenadores no eran más que chatarra completamente tonta, y esto para no asustar a la gente ni ahuyentar a los clientes.

    A parte que en aquel entonces, IBM tenía razón, y ahora hablando de la I.A: no la tendría.

  • #023
    Lua - 5 mayo 2023 - 11:18

    Otro punto de vista

    Hawking advirtió contra una forma extrema de IA, en la que las máquinas pensantes «despegarían» por sí mismas, modificándose y diseñando y construyendo de forma independiente sistemas cada vez más capaces. Los humanos, atados por el lento ritmo de la evolución biológica, serían trágicamente burlados.

    Today’s early stage AI raises several other ethical and practical problems, too. AI systems are largely based on opaque algorithms that make decisions even their own designers may be unable to explain. The underlying mathematical models can be biased, and computational errors may occur. AI may progressively displace human skills and increase unemployment. And limited access to AI might increase global inequality.


    Stephen Hawking warned about the perils of artificial intelligence – yet AI gave him a voice

    Entrevista en la BBC

    • Michel Henric-Coll - 11 mayo 2023 - 10:51

      Para mi, es de cajón, y basta con un razonamiento tan simple que puede parecer simplista, o simplón.

      La pregunta clave es: ¿es la llamada Inteligencia Artificial inteligente, o no es más que un bluff de marketing para vendernos algo?

      (a) tranquilos, no hay nada de inteligente en esto, los conceptos de machine learning e I.A. no son más que terminología de moda que no corresponden a ninguna realidad.

      (b) la verdad es que sí. Aunque su forma de inteligencia no funciona como la humana, si que ES inteligencia.

      En este caso, habrá rivalidad entre especia humana y especie «robótica» (o como la llamemos) y comparando capacidades entre ambas, tenemos todas las de perder.

  • #025
    Chipiron - 5 mayo 2023 - 12:12

    Yo creo que Stephen Hawking incidia en lo que nos inquieta (hasta cierto punto) a la mayoría:

    Que estos LLM sean una caja negra, y como buenos «loros estocásticos» no se tenga claro que van a responder es lo que inquieta a la mayoría de los científicos.

    • Chipiron - 5 mayo 2023 - 12:15

      Por cierto, hace menos de un mes leí una noticia (no el paper) en el que unos investigadores habían conseguido modificar «la caja negra» para afirmar que la Torre Eiffiel estaba en Roma y no en Paris.

      Y al parecer sin modificar el conjunto de entrenamiento, si no modificando los pesos o estructuras dentro «de la caja negra».

      En definitiva, creo que ahora es muy importante (si es posible, cosa que no tengo clara) entender bien como funcionan estos mecanismos estocásticos para poder predecir y limitar sus competencias de forma adecuada.

      Un saludo!

  • #027
    C3po - 5 mayo 2023 - 12:40

    Gracias.

  • #028
    SANTAS PASCUAS - 5 mayo 2023 - 13:03

    Creo que Enrique ha enfocado bien el artículo. Y pensando mal que la postura de este señor responde a algún interés no declarado abiertamente

    He probado al día de hoy varios bots, y todos tienen en común un funcionamiento más o menos similar, se les preguntan y te dan una respuesta, más o menos fiable. Creo que Bart está igual de avanzado que el resto, pero por estrategia comercial (pura y dura) han preferido lanzado en la prueba en inglés.
    ¿qué de aquí a poco tiempo van a causar problemas laborales muy serios? Si. ¿Qué no sabemos el estado del arte? También.

    En Diciembre de 2020 Timnit Gebru fue despedida
    En febrero de 2021, Margaret Mitchell fue despedida
    Hace un año en mayo de 2022, deepmind, lanzaba una AI pseudo generalista (GATO).
    El 20 de abril de 2023, Timnit Gebru, jefa de ética de la IA de google largaba, después de su despido

    Y oh casualidad, el «valiente» Hinton dimite de su jaula de oro en google, hablando maravillas de esa empresa, y advirtiendo de los peligros de la tecnología, todo un detalle antes sus compañeros del comité ético que deshojara la margarita del me voy, no me voy y solo tarde 3 años, debía ser una margarita tamaño mastodonte… eso si justo ahora que la competencia va en Formula I y ellos siguen a su ritmo pausado… es obvio que hay gato encerrado.

    Cuaando Enrique dice

    «Repito lo que dije hace un mes: el hecho tecnológico es inevitable. … Tratar de impedirlo es inútil. Podemos aspirar a regularlo, como se regula absolutamente todo»

    Yo cambiaría el podemos por el debemos

    Lo de Hinton, ni pies ni cabeza.

      • Santas Pascuas - 5 mayo 2023 - 16:04

        Puestos a divagar, yo sé de eso

        Decía Sam Altmann, creo que en una entrevista reciente, que lanzar una AGI sería el fin del capitalismo como lo conocemos.

        No creo que haga falta ni mucho menos lo que yo entiendo que es una AGI (la inteligencia de una máquina que puede realizar con éxito cualquier tarea intelectual de cualquier ser humano)para poner en peligro el status-quo de la economía enfocada a beneficios empresariales para que salten las alarmas en ese evento.

        Lo que claramente está haciendo Google es proteger su negocio, y Open_AI con µSoft es buscar acaparar ese negocio. La carrera de la rata. Pero ellos pelean en el corto/medio plazo.

        A medio/largo plazo… si empiezan a pulular pseudoAGIs como setas, en los empleos es obvio que tendrán un impacto brutal, y los beneficios empresariales deberán ser intervenidos para evitar el caos social. Ojo no la tecnología sino su fruto: los beneficios.

        Igual el objetivo del «parón de IAs, en la carta» es en realidad «entre bomberos no nos pisemos la manguera»…
        Es evidente, que todo va a cambiar, pero esta vez, si que si…

        En cuanto al Open Source en IAs…

        Por ahora no lo veo a medio plazo. Salvo que se patrocine por UE, el gobierno americano, etc… Y de todas formas si el problema es que las BigTechs se caen, pues hará falta Open Sources que estén controladas por nuestros representantes y que sus beneficios formen parte de los presupuestos generales para luego incidir via RBU o similar a los ciudadanos. Si las IAs son de titularidad no pública y multinacional. el camino será más lento, pero el futuro pasa por su expropiación a entidades supranacionales, p.ej. estilo ONU

      • F3r - 6 mayo 2023 - 11:53

        Entrenar chatgpt costó 4 millones de dólares, según algunos expertos (coincide con un simple cálculo de cuántas Nvidia A100 se necesitaron, sin contar electricidad). No acabo de ver el papel del open source más que en el tipo de modelo de red usado. Luego está el coste de uso.
        https://www.forbes.com/sites/johnkoetsier/2023/02/10/chatgpt-burns-millions-every-day-can-computer-scientists-make-ai-one-million-times-more-efficient/

  • #032
    Gorki - 5 mayo 2023 - 13:14

    Opino en la línea de otros comentaristas, Xaquin, MICHEL HENRIC-COLL, CHIPIRON ,…

    Si no tenemos ni idea que es la inteligencia natural, ni la autoconciencia, no podemos comparar si la IA se aproxima mas o menos a estos conceptos,

    ¿En que nos basamos para decir que la IA no tiene auto conciencia, si no sabemos que es eso?. ¿No podríamos decir que el coche autónomo no sabe a donde va, porque no maneja las piernas, o que el traductor automático no entiende lo que traduce, porque el texto nose transforma en recuerdos en su servidor? ¿Seguro que eso es lo importante?

    ¿Qué le falta a la IA para ser una Inteligencia Humana? ¿Lo sabemos?.

    • SANTAS PASCUAS - 5 mayo 2023 - 13:54

      Que sea dificil definir un término no significa que una persona ya desde la prehistoria pueda pensar que sabe que es una persona y que vive rodeado de seres simialres a él, en definitiva puede llegar a intuir que tiene un yo, y que si se mira a un rio a modo de espej puede entender que ese reflejo es el suyo. En cierta manera podemos estar de acuerdo que sabe que existe y que es consciente de ello. ¿Son conscientes los demás? De forma similar puede generalizar que eso que no sabe explicar que es él mismo, lo pueden tener otras personas y de hecho actúa con ellas como con seres autónomos y conscientes dela misma forma que él. Como contraejemplo las piedras, los árboles, los animales, … no son como él.

      Sabe una rama que cae al rio ¿dónde va?, o ese cuchillo que usa para sacar las pieles a los animales… no, claro, es primitivo no gilipollas. Pero tiene menos conocimiento en ciertos aspectos que nosotros, si cada vez que celebran una danza en el poblado para divertirse llueve, puede pensar que ellos han provocado la lluvia, y que existe un ser sobrenatural que actúa como botón para provocar la lluvia.

      ¿Que le falta entonces a una IA para ser humana? Esa pregunta es fácil, es tan humana como tu ibiza, tu dibujo, o la novela que puedes escribir. El 99,999999% de las obras que conoces son humanas, el resto es el palito que usa el mono para comer hormigas o similar. Cualquier herramienta que hace lo que las personas han dicho que haga son deterministas. Y funcionan siempre igual. Incluso una función RND, es determinista, si no ponle una semilla, y verás siempre el mismo resultado. Si a chatGPT pudieras decirle que no usara pseudo aleatoriedad siempre darían la misma salid. Son máquinas NO CONSCIENTES ya que no pueden hacer lo mismo que tú, p.ej. no tienen libre albedrio, no crean (generar no es crear), etc etc

      Es más creativo un chimpancé o un elefante que esa super IA…. ¿y son cosncientes? Hazle una putada a un elefante y ya veras como te la devuelve, aunque pasaen 20 años…

  • #034
    Xaquín - 5 mayo 2023 - 16:29

    El elefante entró en la cacharrería y se armó la de Dios es Cristo. Y cuando el elefante se llama «periódico muy importante» (hasta ahora), la cosa se pone muy chunga.

    Y luego se habla de lo mal que lo hacen las redes sociales, que le dan pábulo a all fake, half fake o almost true (viav Tío Google!). Cuando un periódico de NY está meses luz del seguimiento que tiene una red social. Y hablo de seguimiento «interesante». porque no todo movimiento social importante, por ejemplo de altas finanzas, lo manipulan los internautas.

    Y hablando de elefantes está ese «manido» cuento que le soltamos al alumnado, cuando queremos hacerles ver que la realidad es múltiple y compleja, y se necesitan variedad de filtros mentales, para percibirla con un 50% de posible acierto. El 51% ya suele estar reservado para los «olímpicos, pero por mucho Stephen que se llame, estará también limitada su visión de la realidad.

    El cuento dice lo siguiente (resumo a tope) : Tres individuos, que son ciegos, pillan a un elefante por el rabo, por una pata y por un colmillo… y pretenden explicar lo que tienen «tan bien» agarrado… y son muy profesionales!!

    Ya no explico el cuento, porque soy jubilata, a mucho gusto y honra, pero no quiero ser pesado. Ya no me pagan por ello.

    Pero si, tal com dice LUA, el tal Geoffrey no le dijo lo que el Gran Periódico dijo, ya estamos más aviados. Supongo que tampoco dijo que el no era el tremendo Geoffrey de Juego deTronos (ah no, que el malvado rey era Joffrey, pero no pienso que el periolisto le diera mucha importancia al cambio… le daba mucho juego a la entrevista… y es que los periolistos son mucho!). Sí, ya sé que esto «sobra», pero es que el periolistismo (con lao malos políticos) es una de mis bestias negras…

    En fin que ya el «pobre» EDans, está canso de repetir la enorme diferencia entre inteligencia humana e «inteligencia artificial». Que no radica solo en las putas emociones del amigo Sony. Es todo más profundo, incluso, como insinué antes, para el mago de la ciencia apellidado Hawking. Quién por cierto ni tenía experiencia de interacción con una IA de medio pelo. Dudo mucho que hubiera estudiado como funciona mi «amigo» de Facebook. La ciencia no es salgo estático (ya por su propia naturaleza, sea la que esta sea).

    Que se lo digan al amigo Einstein, que nunca pudo tragar a la Mecánica Cuántica. Y lo que se perdió de «ver».

    En fin, que no todas las IA se pueden llamar Scarlett, pero, desde luego, es con la interacción de una mente humana, con la que «ellas/os/es» van aprendiendo. Además del programado, punto de partida inicial, lo determinante (más que el puto programa, si es bueno), será el trabajo de interacción con la mente humana que la «apadrine» (su interlocutor humano). Porque el padrino siempre es y será el humano, por lo menos hasta que «maduren» tanto, como para jugar al mismo nivel, el homo sapiens (esperemos que menos mediocre que el actual) y lo que sea eso , que llamamos, por comodidad (no por saber), IA.

    Y si alguien puede hablar de este tipo de proceso interactivo, no son los ingenieros de alta gama. Son los profesores /educadores, siempre que sean auténticos profesionales (creativos, no anquilosados). Ya que el proceso de interacción con una IA, aprendiz en principio, no deja de ser el que sufre un profe con su alumno (use el pronombre que use con él/ella/ello).

    Una cría humana, como alumno, interactúa para chuparte conocimiento y hacer, con él, lo necesario para desarrollar positivamente las capacidades que trae en su ADN. Todo lo demás es injertable un adn social negativo ,para ser la pieza del engranaje, que manipula la sociedad adulta dominante.

    Y, ya que estamos, que no nos asuste lo que «trae de casa» una IA. Porque precisamente el buen profe, también saber recibir (y contraprogramar) «lo que trae de casa, y de la calle, su alumno». Sobre todo si viene ya programado malamente, por unos padres o tutores ( o los amigotes del barrio), que lo predisponen contra el profesorado que va a tener.

    Casi todos los profes se asustan de lo que puede decirle un alumno, como se asustan de lo que puede decirle un algoritmo. Cuando precisamente se trata de partir de lo que sabe (o cree saber el alumno/algoritmo), para hacerle comprender todo lo mucho que le queda por aprender sobre al realidad. Porque memorización (mecánica) y aprendizaje (cognitivo) no son sinónimos. Incluso pueden hacerse contradictorios.

    Menos mediocridad y más pelotas/ovarios, para enfrentarse a la puta realidad. El alumnado y las IA (que todas pueden ser diferentes), nos lo agradecerán. Sí, incluso las IA, porque ser agradecidos puede estar en un dicho, y puede ser una de las primeras características aprendibles por parte de un algoritmo (tiene más de racional, de lo que piensa la gente).

  • #035
    Maria M. - 5 mayo 2023 - 16:56

    Enrique, me gustaria saber si conoces/has leido a Nita A. Farahany («The Battle for Your Brain»). Si es que sí, un post tuyo sobre el tema sería de agradecer.

    Es un campo fascinante y, en combinación con los avances de la IA, plantea dilemas éticos tanto o más relevantes. Se trataría de ceder (o que nos quiten) datos directamente de nuestro cerebro, de las posibles aplicaciones (como era de esperar, las hay buenas y malas), etc.

    Por si hay alguien interesado, dejo enlaces a dos entrevistas recientes:
    1) https://www.vox.com/future-perfect/2023/3/17/23638325/neurotechnology-ethics-neurofeedback-brain-stimulation-nita-farahany
    2) https://inquiring.show/episodes/400-the-perilous-combination-of-brain-wave-data-and-generative-ai

  • #036
    F3r - 6 mayo 2023 - 12:03

    En cuanto a regular, hay una brecha que está en la base de la ineficacia de los estados: no consultan a los expertos(lo típico de pelis yanquis donde el presidente llama al físico teórico de Harvard para ver cómo evitan el fin de la civilización). Es cierto que a partir del covid sí que se hace más (incluso en España, se creó un comité con gente de sistemas complejos, epidemiologia, etc, todos investigadores con renombre, pero creo que su influencia en los procesos de decisión fue parca).

    En EEUU en eso nos llevan ventaja, en eso son más prácticos. Hace unos diez años asistí a una conferencia de cuántica y habló uno de los investigadores con más renombre en trampas de iones (para computación cuántica). Dijo que se había puesto en contacto con él el pentágono para preguntarle si era el momento correcto para lanzar un «proyecto manhattan» sobre computación cuántica (sabemos que la criptografía, y por tanto las comunicaciones militares, sería la primera en caer con este tipo de ordenadores). Él les dijo que aun no.
    De los cientos de investigadores españoles que conozco, solo a uno se le preguntó algo, durante el covid.

  • #037
    David - 6 mayo 2023 - 12:41

    Interesante. La palabra clave es “decidamos” hacer con la tecnología. Con ello presupone que la capacidad de decisión estará siempre del lado de la humanidad. Pero una “súper” iag sin ningún tipo de consciencia o características antropomórficas puede llegar a la conclusión algorítmica de cuestionarse por qué la capacidad de decisión, y por tanto su productividad medida en términos de alguna función objetivo, tiene que estar del lado de seres tan ineficientes cuya productividad fluctúa porque duermen, enferman, están tristes etc. y decidir eliminar esa variable o input si de su ecuación

    • David - 6 mayo 2023 - 13:04

      Perdón por matizar ya que escribo con el móvil y se cuelan palabras no deseadas quiero decir: el peligro como se ha dicho no es la introducción de nuevas tecnologías, sino su grado de disrupción . Por ejemplo he leido que la introducción del automóvil derivó en la muerte de miles de caballos dedicados al transporte porque ya no eran eran eficientes. El problema sería llegar a un grado donde la humanidad sea como los caballos en ese escenario. Y si todo se mide en términos de maximización de la productividad (alguna función objetivo con variables operacionalizadas) se puede llegar

  • #039
    Abel Monasterio - 6 mayo 2023 - 18:00

    Pienso que no es tanto controlar la tecnología, que sí hay algunas que NECESARIAMENTE se han de controlar si o si, como la nuclear, pero más que nada, HAY QUE CONTROLAR a aquellos (individuos, grupos, empresas o gobiernos) que quieran hacer USO ABUSIVO y/o MALINTENCIONADO de dichas tecnologías.

  • #040
    Pedro Espinosa - 7 mayo 2023 - 10:14

    Ted Chiang y otra perspectiva –desde el punto de vista del incremento de la desigualdad en la acumulación de riqueza– sobre el asunto:

    https://www.newyorker.com/science/annals-of-artificial-intelligence/will-ai-become-the-new-mckinsey

  • #041
    Luis - 8 mayo 2023 - 03:27

    Yo cada vez me voy a fiar más de lo que vivo personalmente, de ver y oir lo que me circunda físicamente y que sea comprobable, incluso de lo que me digan mis amigos, el tendero o el panadero ignorante y atrasado de todo aquello que provenga a través de los medios de comunicación virtuales o físicos (mass media, mainstream). La apabullante proliferación de noticias fake, clickbeat, navegadores extremadamente condicionados por sus clientes da un asco cada vez mayor.

    Estamos metidos en un autentico berengenal por aquello de poner el avance tecnológico como el nuevo becerro de oro. Riete tu del photoshop en imagen, auto-tune en audio, o los apesebrados medios de comunicación en lectura. La que se nos viene encima es de ordago a la grande, chavales.

    Ademas, llevo en esto de la computación desde 1984 con aquello de la programación BASIC y la verdad es que ya uno se agota. ¿Vejez? no querido, aburrimiento.

    Hoy por hoy ciertos sectores en la Deepweb y Darkweb es lo único que me interesa, todo lo demás mucho hype para seguir vendiendo motos y e-commerce hasta en la sopa…..y eso que aún encuentro algún que otro buen prescriptor por la web abierta.

  • #042
    Luis - 8 mayo 2023 - 03:42

    Por cierto, se me olvido comentar, dada la proliferación de imagenes trucadas, inventandas y sinteticas creo que el negativo de sales de plata de toda la vida va a volver a tener relevancia para los medios de comunicación y concursos de fotografia que se consideren medianamente serios.
    Imagino que no habeis leido al artista y teórico de prestigio sobre la fotografía Joan Fontcuberta, recomendable a no más poder, se inscribe en una línea crítica de la concepción de la fotografía como evidencia de lo real. Os lo recomiendo.

  • #043
    Luis - 8 mayo 2023 - 04:02

    Enrique Dans ¿te has planteado hacer examenes orales a tus alumnos? ahí no hay trampa ni cartón y se puede evaluar los conocimientos más alla de las habilidades de hacer uso de la tecnologia en busqueda de info o creación de texto mediante la «inteligencia artificial».
    Y ya de paso….. ¿sigues siendo proclive a que no se le de tanta importancia al aprendizaje de la escritura como escribias en uno de tus articulos hace un par de años o así)

  • #044
    José Enrique - 8 mayo 2023 - 08:12

    Ciertamente la solución pasa por regular, no prohibir.

    Pero si tenemos que confiar en que regulen los mismos que no son capaces de hacerlo para un patín eléctrico (hasta yo me veo capaz de elaborar un boceto bastante definitivo para esto), entonces es cuando sé que hay pocas esperanzas para una buena y rápida solución.

  • #045
    Dedo-en-la-llaga - 9 mayo 2023 - 18:32

    Ya lo dije en su momento, atribuir «alucinaciones» a un sistema, no sólo es una aberración conceptual, sino que es ciscarse en un buen montón de años de experiencia clínica desde la psiquiatría hasta el psicoanálisis, pasando, y esto es muy importante, por los propios pacientes que las han sufrido.

    En serio, mal asunto es ese de hacernos correas de transmisión de conceptos, epistemológicamente mal concebidos, peor aplicados y que denotan una ignorancia apoteósica provenientes del mundo anglosajón.

    Lo más cercano que, como dije en su día también, podría adjetivarse, es «fabulación».

    Alucinación es querer antropomorfizar un sistema que tiene tanto de humano como el rabo de una lagartija. O sea, nada. Y esto no lo digo en demérito del sistema. Lo digo más bien en demérito de lo humano que no soporta que las cosas no sean a su imagen y semejanza. Cuando en verdad, no tienen ni puta idea ni de qué es su imagen, y menos todavía quién o qué es su semejanza. (Y por eso pasan luego las cosas que pasan.)

    Saludos.

  • #046
    Uno que piensa - 27 mayo 2023 - 15:44

    La parte «en google fueron bondadosos y no quisieron desarrollar la tecnología» no te la crees ni tú. OpenAI les comió la tostada. Y que Hinton, el responsable directo de que estos algoritmos existan desde 1986, venga ahora a sus más de 70 años haciéndose el escandalizado, me recuerda al gendarme de Casablanca con el «qué escándalo! He descubierto que aquí se juega!»

    OpenAI ha puesto en valor todo lo que hemos inventado desde 1940 a partir del modelo de Ramon y Cajal y no hay más. Por supuesto, en España, una vez más y por las razones de siempre (mafia y cainismo), a verlas venir.

Dejar un Comentario a F3r

Los comentarios están cerrados