La inteligencia artificial generativa ha alcanzado un punto de inflexión: ya no se trata solo de una herramienta que «muestra fallos», sino de una tecnología que está siendo utilizada en contextos profesionales de alta responsabilidad. Un artículo reciente en The New York Times, «Vigilante lawyers expose the rising tide of AI slop in court filings«, detalla cómo algunos abogados están presentando en los tribunales escritos judiciales basados en contenido creado por inteligencia artificial que incluye citas inventadas, casos inexistentes y errores invisibles al primer vistazo.
Hace ya mucho tiempo que lo sabemos: la inteligencia artificial generativa se caracteriza, en muchos casos, por generar precisamente las respuestas que «dicen lo que quieres oír», y las llamadas «alucinaciones» que producen no son accidentes: son síntomas de una deliberada falta de cuidado en su corpus de entrenamiento (no querer invertir en supervisión humana y no querer ser acusados de sesgos por eliminar determinadas cosas), y de un diseño de función objetivo que sistemáticamente prefiere producir algo con el fin de producir una ilusión de omnisciencia antes que abstenerse de contestar. El problema técnico está perfectamente documentado.
¿Quiere esto decir que nunca debemos usar estas herramientas en un contexto profesional? No, en absoluto. Usar estas herramientas es perfectamente aceptable… siempre que las usemos adecuadamente. Llevamos ya tiempo viendo las consecuencias de aplicar modelos generativos en entornos donde la precisión no es una virtud opcional sino una obligación ética, y la cuestión es clara: si, usar un modelo de inteligencia artificial puede ahorrarte tiempo y mejorar la calidad de tu trabajo, pero sistemáticamente deberás dedicar una parte del tiempo ahorrado a supervisar los posibles errores cometidos, porque presentar un trabajo con «alucinaciones» ya no es ni deber ser en ningún caso aceptable. Lo de «es que la máquina alucinó» es una disculpa tan inaceptable como la de «el perro se comió mis apuntes».
Cuando un estudiante entrega un trabajo con fuentes falsas, debe recibir una sanción académica. Cuando un abogado presenta ante un tribunal un escrito que cita casos que no existen, la consecuencia puede ser sanción profesional, la pérdida de credibilidad del cliente e incluso sanciones económicas. Lo que una avalancha de alucinaciones generadas por inteligencia artificial en los escritos judiciales muestra es, sencillamente, que los abogados aún no han aprendido a afinar su uso de la tecnología, y en consecuencia, los riesgos financieros y reputacionales aumentan.
La lógica es clara: si va a usarse la inteligencia artificial en entornos profesionales, la supervisión humana debe integrarse en el proceso. En IE University, señalo a mis estudiantes que pueden usar modelos de inteligencia artificial generativa, pero deben compartir las secuencias de prompts, presentar su revisión del resultado, y asumir su responsabilidad. Si un profesional falla en ese control, su trabajo no puede darse por válido. Ya no estamos hablando de «nuevas tecnologías» ni de cosas que nacieron anteayer: si no sabes usar bien un algoritmo generativo, obtienes respuestas absurdas y no solo las das por buenas, sino que vas y las presentas como buenas, eres simplemente un irresponsable, un mal profesional.
El problema deja de ser técnico y se transforma en profesional. Las instituciones reguladoras lo están reconociendo: la American Bar Association emitió una guía formal que advierte a los abogados que el uso de inteligencia artificial puede implicar deberes de competencia, confidencialidad, comunicación con el cliente… e incluso revelar al cliente que están usando inteligencia artificial. En el mundo académico ya está claro lo que ocurre cuando un texto contiene «errores inevitables»: ahora lo vemos también en los tribunales.
Propongo tres ideas principales: primera, que la tecnología nunca excuse el fallo. Si se usan herramientas que pueden inventar datos, no es suficiente con digitalizar el error: se debe asumir que la tecnología no es infalible y que cada resultado debe verificarse. Segunda, que la responsabilidad recae en el profesional. El hecho de apoyar un argumento en una inteligencia artificial que produjo citas falsas no es atenuante, es negligencia. Tercera, que la formación debe cambiar. Ya no basta saber qué hace la inteligencia artificial, sino ademas, ser consciente de sus fallos estructurales, de cómo se pueden detectar y corregir, y de cómo comunicar su uso al cliente o a la institución.
Las alucinaciones de la inteligencia artificial han dejado de ser curiosidades técnicas tolerables y se han convertido en riesgos concretos para la práctica profesional, académica y legal. El hecho de que uno ahorre tiempo con un LLM no otorga inmunidad frente a errores que, en según qué contextos, pueden costar mucho más que horas perdidas. La idea de que un producto pueda «funcionar mal» y que eso no sea responsabilidad de su fabricante, sino de su usuario, podría parecer errónea, pero en este caso no lo es: hablamos de una tecnología que ya nos ha notificado por activa y por pasiva que su funcionamiento puede generar errores. Si decides no comprobarlos, el problema pasa a ser tuyo.
La próxima vez que alguien diga «el algoritmo generativo se equivocó», debemos responder que no, que el que se equivocó fue el usuario al confiar en que no lo haría. Y en el mundo profesional, eso ya no debe ser aceptable.
This article is also available on Medium, «When AI gets it wrong: why responsibility still lies with us»
Y por eso mismo NO podemos usarlos en contextos educativos de primaria y vigilar muchísimo en secundaria.
Ya un hijo de un colega, de 8 años, le dijo a su padre «¿para qué voy a aprenderlo si Gemini lo sabe?» Obviamente es un caso aislado y no se puede inferir demasiado de ello, pero esa mentalidad sí es más prevalente en secundaria.
El motivo por el que los chavales SI necesitan una educación con una parte de lógica y otra de memorización es para que tengan criterio para separar el grano de la paja en estas respuestas.
Tiemblo de pensar lo que tengo que repasar cuando los «juniors» de mi trabajo me entregan ciertas funciones que les pido. Se nota a la legua cuando han usado chatGPT o similares porque no cambian ni los comentarios explicativos.
Paso más tiempo repasando el código y corrigiendo a los juniors que haciéndolo yo mismo. Y lo peor es que no sé si estoy perdiendo el tiempo.
En mi humilde opinión, los niños necesitan padres formados en pensamiento crítico que les transmitan en el día a día la aplicación de esos conceptos.
Un alumno asiste a un colegio o instituto, p.ej. en España tiene entre 33 y 37 horas semanales. Las jornadas escolares en secundaria suelen ser largas, empezando sobre las 8:00 y terminando entre las 14:00 y 15:00, y el cómputo anual de horas lectivas es de aproximadamente 1.057 horas. Adicionalmente se ha hablado mucho sobre la idoneidad de mandar deberes a los alumnos, o no. O simplemente debe repasar y ponerse a prueba, ellos mismo con los ejercicios que puedan adelantar y luego corregir en clase.
En ese entorno hay algo que decía Reed Hastings, quien afirmó que el mayor rival de Netflix, no son otros servicios de streaming como Disney o Amazon, sino el sueño y, por extensión, el tiempo libre que los usuarios dedican a dormir en lugar de ver su contenido.
El imponerese tipo de jornadas para hacer repasos concienzudos igual no son útiles en si mismos
¿Son los deberes normales o la sobre tarea con IA útiles con esos horarios? ¿Es normal a un crio de 13 años exigirles jornadas de más de 40 horas? Eso sin contar desplazamientos, extraescolares, … ¿cuando pueden socializar esos crios? Yo no se vosotros pero las IAs muchas veces es un vertedero en el que se van horas, porque son una chapuceros interaccionando.
Ya no solo las alucinaciones, también la mierda de calidad de las respuestas que no fallan, como nos comentaba lua hace muy poquito, 3 horas pidiéndoles cosas. Eso sabiendo pedir…
Tres dias… que cada vez que me dejaba «out» por sobrepasar mi tiempo o limite (cada tres respuestas), era como 5h sin poder interacturar (descuenta las noches, que evidentemente, duermo).
Estoy contigo Buzz, los deberes para mí no tienen sentido. Si no aprendes en 40 horas, no vas a aprender en 60.
Quitemos música, educación física y religión y ya liberamos algo de tiempo para hacer cualquier deber dentro del horario lectivo.
Tío, yo hacía 1 horita diaria de deberes y me sobraba muchísimo para dominar todas las materias . A lo mejor lo que sobra son esas 200 actividades extraescolares.
En cuanto a quitar música y religión, totalmente en contra. El espíritu humano no va de matemáticas. Educación física se podría juntar con otras cosas en una asignatura que fuera sobre alimentación, educación sexual, habilidades manuales tipo hacer fuego, debatir, saber organizarse en grupos humanos…yo qué sé
Yo no los hacía casi nunca, pero mi hermana sí (le costaba más) y cuando la ayudaba yo porque mis padres estaban fuera o algo, igual se nos hacían las 20:00 tranquilamente.
También es verdad que teníamos horario partido (9 a 12 y 15 a 17) y eso me mataba todo. En casa a las 12 era «compra en mercadona», «come» y «limpia los vasos y platos» con lo que ni mi hermana ni yo teníamos tiempo de hacer nada.
Eso reduciría a la humanidad a un millón de población inmediatamente
«Paso más tiempo repasando el código y corrigiendo a los juniors que haciéndolo yo mismo. Y lo peor es que no sé si estoy perdiendo el tiempo.»
Y esa es la clave… si has de repasar, estas perdiendo el tiempo.
Que te den una respuesta en 20 segundos y tengas que perder más de cinco minutos en repasar, ya no es avance.
5min + 5min + 5min….
Pregunta: ¿cómo están vendiendo estas herramientas?
Porque si se están vendiendo a empresas herramientas de IA ofreciendo resultados que no pueden cumplir, entonces claramente la culpa es de la herramienta y su vendedor.
Si la venta es correcta pero la empresa sólo ha visto cuántos empleados puede despedir y además no forma adecuadamente a los que quedan, la culpa y responsabilidad es la empresa.
Y sólo si las dos anteriores son correctas la culpa y responsabilidad debe achacarse al profesional que utiliza mal la herramienta.
Mucho me temo que de momento fallan más las dos primeras que la tercera.
Muy de acuerdo.
Usando la AI puedes obtener resultados erróneos, que llamamos «alucinaciones»
Usando la HI puedes obtener resultados erróneo,s que llamamos «tonterías».
Si un abogado o un académico, presenta textos erróneos, no hay diferencia entre si son «alucinaciones» o «tonterias». Ese profesional no da la talla.
De ahi que sea inevitable usar la IA teniendo un previo dominio del tema del que se habla para que la IA aporte un plus, y no lo contrario.
Pero es que ademas es necesario un bagaje intelectual para poder interpretar y comprender lo que te dice la IA.
Si yo pregunto a la IA que me explique la mecanica cuantica y no tengo idea de ninguno de los conceptos que usa ¿de que me sirve?.
Y ese va a ser el problema, la cantidad de jovenes que pierden su tiempo en las redes sociales en lugar de leer buena literatura o un buen ensayo , solo por el gusto de hacerlo, o que se forman , por ejemplo en politica con videos de 4 iluminados.
Sin embargo, la IA para una persona curiosa y autodidacta es el paraiso. De hecho preveo que surjan muchos mas genios autodidactas que son reacios a recibir una formacion reglada que no les permite descubrir personalmente y a medida de su propio interes aquello que les interesa.
Pongamos de nuevo el ejemplo de la mecanica cuantica partiendo de cero.
Puedes aclarar cualquier concepto desconocido a medida que aparezca hasta que lo domines.
De hecho no sé que van a pintar las universidades en un futuro , excepto para socializar.
Estoy de acuerdo en que es un paraíso para los autodidactas, pero discrepo totalmente en cuanto a lo de las universidades: gran parte (en mi caso) de aprender Física venía de estar escuchando a una persona que investiga en la frontera del conocimiento sobre ese tema. De hecho mi gran acierto fue conocer a alguien del siguiente curso que me decía qué profes eran los mejores de cada asignatura: he tenido el privilegio de que grandes mentes me explicaran, no solo los conceptos, sino cómo se llegó hasta ellos, sus implicaciones, su inevitabilidad (en relatividad general el tío nos derivó las ecuaciones de Einstein de un solo concepto, la igualdad de la masa inercial y de la «carga» gravitatoria, y la necesidad de que las leyes de la Física fueran iguales en cualquier marco de referencia). Es más, ya en el primer curso tuvimos una asignatura que nos explicaba la frontera en cada rama, algo increíblemente inspirador (ahí ya descubrimos todas las frikadas de la física cuántica, antes de saber el formalismo).
Ok, y si la IA incorpora todo ese conocimiento y lo muestra con la misma habilidad , o mejor, que tus profesores ¿no podría sustituirlos?
Mientras se «flipe»… no.
La respuesta es obvia, un rotundo no !!!
Algo sin alma, no puede transmitir la emoción que nos cuenta F3R… nada que ver…
Dale otro año.
De momento Antropic ya ha conseguido una IA que reflexiona sobre lo que ella misma piensa.
Esa habilidad se gana estudiando física durante 20 o 30 años e investigando en la frontera del conocimiento, cosa que no parece que vaya a ocurrir en breve.
Lo de “enseñar” IA, así en general, lo veo un poco plof… sigo pensando que el futuro estará en Ia’s a medida, temáticas, entrenadas con datos verificados y especializados. Radiología, Química, Física, etc. Pequeñas, modulares y especializadas y mayormente locales.
La experiencia nos esta diciendo, que esas Ia’s generales, los LLM, se están envenenando a si mismas. Cada día hay mas material en internet, generado y no verificado por esas IA’s, y de ese material, también se están alimentando las mismas. Ese data poisoning, va en aumento, y si el usuario, no esta pendiente del resultado y se lo cree a pies juntillas (lo que ocurre la mayoría de las veces), puede que ese trabajo acabe publicado, y a su vez, envenenando aún más.
Menos generalista y mas especifica. Eso es seguridad.
«On November 10, 2010, Professor Richard Quinn discovered that 200 students, about one-third of his 600-student senior business class at the University of Central Florida, cheated on a midterm exam. The scandal was the largest in the university’s history.
Quinn noticed unusually high test scores, averaging a grade and a half higher than previous exams, prompting suspicion. A student’s anonymous tip and statistical analysis confirmed that many had accessed an advance copy of the exam.
Quinn offered cheaters an ultimatum: confess and complete a four-hour ethics course to clear their records, or face potential expulsion. About half of the 200 students confessed by the deadline of midnight on November 17, 2010.
All 600 students were required to retake the midterm exam, regardless of involvement, in a heavily monitored testing lab with anti-cheat cameras. Quinn described feeling “physically ill” and “disgusted,” emphasizing the importance of ethics and honesty.
The cheating occurred despite proctors and surveillance in the testing lab, surprising students like Samantha Riordan, who condemned the act. Student Konstantin Ravvin controversially claimed cheating was common in college and life.
Quinn barred cheaters who didn’t confess from seeking his help in the future. The university’s academic affairs office handled potential disciplinary actions, with no public report on final expulsions or sanctions.»
My God, it’s full of cheaters
Y al profesor… ¿no le cayó un expediente por negligencia?
Le fusilan el examen y se pone chulito porque se da cuenta solamente porque hay muy buenas notas….
Lo que si deberían haber pillado a la fuente y meterle un puro por idiota, si robas un examen y lo compartes, aparte que siempre hay una nenaza que se chiva, es obvio que van a subir los aprobados… y por tanto que te anulan el examen.
Hasta para hacer trampas, no hay que ser un descerebrado
Lo desconozco, pero el ultimo párrafo dice que hubo investigación, sin mencionar a quien.
igual esto ayuda
OffTopic
Poned a prueba vuestros LLM con esto Qwen ha sido muy divertido y lo ha acabado convirtiendo en algo filosofico (me preguntaba mas a mi, y hasta me ha dicho que no le hiciera trampas cuando intentaba engañarle, o me reconocia inmediatamente despues de darme una solucion , que era «demasiado peliculera»… textual) XDDDD
———
Fue un placer pensar juntos en ese acertijo con un toque de drama, serpientes filosóficas y cocodrilos pacientes.
Si algún día te encuentras colgando de una rama con un león, dos cocodrilos y una serpiente… ya sabes: respira hondo, no sueltes la rama… y reza para que la serpiente esté de buen humor.
¡Cuídate mucho y hasta la próxima!
Una de las diferencias entre las universidades americanas y, al menos, las publicas españolas es la repercusión de hacer trampas (copiar) en un examen.
En los EEUU, si tienen pruebas de que has copiado en un examen, lo normal es que directamente te echen de la Universidad. Y luego, trabajo vas a tener para que te acepten en otra..
Aquí, si pescas a alguien copiando, le pones un cero y la vida sigue sin más repercusiones ni historiales.
Por eso, en muchas universidades americanas, los alumnos realizan los examenes en clases sin practicamente vigilancia, pues con los severos castigos que imponen, pocos alumnos se atreven a copiar en un examen, aún sin ser vigilados.
No digo que sea mejor o peor, pero eso explica en parte porqué el profesor no se lleve más sanciones: En norteamerica, la honestidad del estudiante ante las pruebas evaluativas se da por sentada.
«las usemos adecuadamente.» «el que se equivocó fue el usuario al confiar…» (EDans).
Dos citas que se unen.. porque siempre estamos con lo mismo, que la IA no puede tener los fallos que tiene la IH (y más)… cuando una es de ahora mismo y la otra tiene millones de añitos. Y, como no, la sempiterna confianza… y el desprecio a los filtros mentales propios. Esos que, básicamente, se deben construir en la adolescencia.
Es como la tontería de que el cerebro «nos engaña».. como si el cerebro (su mente) no fuera el mismo ser humano que acaba de decir esa chorrada… como si el cerebro fuera una especie de consultora «ad hoc», a la que pedimos ayuda en determinados casos… un dilema mental, por ejemplo… este tipo de gente debe tener dos yos principales, uno que se considera el amo de la mente, pero no le gusta pensar mucho, y otro que usa el circuitado neuronal para las acciones complicadas… y, si luego «se equivoca», viene el «yo-amo» y le dice que se ha equivocado, que le está engañando, que eso no puede ser, porque patatín y patatán…
Joder, qué nos gusta ser mediocres versiones… ni el martillo es culpable de que «te aplaste» el dedo, ni una IA es capaz de funcionar medianamente bien, si no la entrenas como es debido… y su programador la conformó para ser entrenada por el usuario, y no por programas raros «de sabe quién»… pero técnicos tiene la materia, que saben más que yo. Aunque es verdad, que mi «yo principal» no suele hacerles mucho caso… al menos al principio.
Últimamente se critica mucho que los jubilados, y los que estamos en camino de serlo, muy pronto, vamos a cobrar mucho dinero en pensiones: la generación con los salarios más altos y, por lo tanto, las pensiones más altas, dicen.
Pero lo curioso es que esta generación de jubiletas ha venido de una horrible educación sin pantallas, memorística, con aulas masificadas de 40 alumnos, algún profesor magnífico entre una mayoría de profesores, más inanes que una IA, etc., etc. *
Cuando yo estoy de Informática, teníamos a nuestra disposición Olivetti PC-20, ahora la formación profesional y las universidades están equipadas como si fueran un laboratorio de la NASA.
Y a pesar de todo ello, hemos salido adelante, hemos prosperado, hemos socializado y muchos de ellos son incluso el soporte económico de sus descendientes.
No sé si la IA reemplazará eficazmente a los profesores humanos, si sé que globalmente el Sistema Educativo, ha perdido muchos muchos puntos tras cada supuesto intento de mejora y, globalmente, los alumnos ahora están peor preparados intelectualmente y con peor socialización humana.
Si la IA consigue mejorar en algo esto por mi, bienvenida sea.
* Y no estoy hablando de política ni defendiendo la política de entonces, que os veo venir.
Estoy contigo… +1000
Si me permite el sr. Dans, un corrección al 3er párrafo:
Cuando yo estudié informática, teníamos a nuestra disposición 2 ordenadores Olivetti M20 para toda la clase, ahora la Formación Profesional y las Universidades están equipadas como si fueran un laboratorio de la NASA.
Viene al pelo que ni pintada:
https://www.hablemosderelojes.com/uploads/db5142/original/4X/c/8/e/c8ef17fa800701c57d15f2eeeeb2288e7db25de4.jpeg