Cuando el «move fast and break things» se convierte en norma

IMAGE: Mike Deerkoski (CC BY)

La frase original fue acuñada por Mark Zuckerberg en los orígenes de Facebook, y hacía referencia a una cultura en la que predominaba la excelencia técnica y la capacidad de convertir cualquier idea en código ejecutable en muy poco tiempo, un atributo de funcionamiento interno, en principio, muy positivo para cualquier compañía.

De aquella época, que llevó a que ese «move fast and break things» pasase de ser una simple filosofía interna de desarrollo a convertirse en lema y después en meme, hasta que un Zuckerberg ya totalmente abrumado por los escándalos decidió ponerle fin, surge un estilo irresponsable y una forma de hacer las cosas que, sin duda, ha triunfado en Silicon Valley y en muchos otros sitios, con todo lo que ello conlleva.

Una moda que supone que las compañías pongan en el mercado productos muy escasamente probados, o que incluso poseen problemas ya identificados y potencialmente peligrosos. Lo vimos claramente cuando un vehículo autónomo de una Uber obsesionada por tener a punto un sistema de conducción autónoma que creía esencial para el futuro de la compañía mató a una persona que cruzaba imprudentemente una calle, porque seleccionó a una persona completamente irresponsable como conductor de seguridad de un automóvil provisto con un software experimental lleno de bugs. Como resultado de aquel accidente, Uber interrumpió sus pruebas con vehículos autónomos hasta diciembre de ese mismo año, para finalmente en 2020 abandonar su desarrollo.

Ahora, y en este mismo entorno, vemos otro claro ejemplo de irresponsabilidad: la retirada de los vehículos autónomos de Cruise, la compañía propiedad de GM, fue debida a un accidente en el que una mujer fue atropellada y arrastrada durante varios metros, tras lo cual la compañía trató de ocultar los detalles del accidente. Ahora, un análisis de materiales internos de la compañía revela que la compañía era perfectamente consciente de que sus algoritmos tenían problemas reconociendo baches y niños, y que a pesar de ello, los mantuvo circulando por las calles.

La conducción autónoma es un horizonte enormemente interesante de cara al futuro y está planteada para ser mucho más segura que la conducción humana. Pero poner en la calle productos que no han sido suficientemente probados para no perjudicar un despliegue que está costando mucho dinero a la compañía es no solo irresponsable, sino además, un indicador de que alguien tiene sus prioridades espantosamente mal ubicadas.

Estamos en lo mismo: muévete rápido, y si rompes cosas, ya veremos lo que hacemos. El problema no es la tecnología, cuyo desarrollo va a seguir avanzando, sino la irresponsabilidad de quienes ponen en el mercado productos basados en esa tecnología sin plantear los potenciales problemas que pueden generar. Da lo mismo que hablemos de redes sociales, de conducción autónoma o de inteligencia artificial: más que tratar de regular el desarrollo de la tecnología, hay que plantearse cómo diablos encarecer el precio de la irresponsabilidad, y evitar que se pongan productos en el mercado que no hayan pasado exhaustivas fases de sandboxing y redteaming en todos los sentidos. El problema no está en la tecnología, sino en los que la gestionan.


This article is also available in English on my Medium page, «When companies move fast, they do more than break things«

24 comentarios

  • #001
    menestro - 7 noviembre 2023 - 18:42

    El problema es cuando el departamento técnico valida los modelos, y el de gestión asume la madurez de un proyecto basándose en esa valoración, sin que nadie asuma la responsabilidad real de someterlo a una fase de ensayo y adecuación.

    No se pueden realizar pruebas a un coche autónomo en tráfico real, como en San Francisco.

    Otro buen ejemplo de validación con ensayos sesgados es la crisis de los opiáceos en EE.UU. con los casos Subsys y Purdue Farma, donde se validaban medicamentos con ensayos parciales y orientados a una comercialización inmediata.

    Es lo que se conoce como «Ford Pinto Mathematics» cuando el coste de reparación de un daño es marginal y se asume la comercialización de un producto sin que cumpla un estándar de calidad y seguridad.


    Ford Pinto Cost/Benefit Memo

    «I Find Your Lack of Faith Disturbing»

  • #002
    Gorki - 7 noviembre 2023 - 18:43

    Se te ha olvidado comentar los muertos de Tesla, por culpa de su sistema de navegación Autopilot, creo que hasta el momento van 736 accidentes y 17 muertos

    • Enrique Dans - 7 noviembre 2023 - 19:33

      Exactamente un accidente cada 10.5 millones de kilómetros recorridos en Autopilot. A mí, francamente, no me parece que esté nada mal. Cualquier conductor humano sin Autopilot tiende a tener bastantes más. De hecho, cuando los Tesla van sin Autopilot, tienen un accidente cada 2.75 millones de kilómetros, y están considerados los automóviles más seguros del mercado, y con Autopilot esa seguridad se multiplica por un factor de casi cuatro.

      Tesla Vehicle Safety Report.

      • Cybo - 7 noviembre 2023 - 20:18

        Eso se llama tergiversar.

        Tesla es el coche con ADAS que más accidentes tiene en proporción.

        Link1

        Link 2

        Una cosa es reconocer sus méritos. Incluso entiendo que tienes un sesgo muy fuerte con Tesla que intento descontar. Pero comulgar con ruedas de molino va a ser que no.

        Y «están considerados» sin añadir fuentes es como que yo estoy considerado el más guapo en mi casa, por cierto.

        Hablando de «estar considerado», el risible y peligrosamente denominado autopilot de Tesla da ya hasta grimilla respecto a los verdaderos Nivel 3 que comercializan esos viejunos de Mercedes y (ya mismo) BMW.
        Link 3

        Y sí, sí, se llaman Nivel III y el de Tesla Nivel II (plus, con suerte). Ya sé que todos los ingenieros de automoción del mundo son idiotas, menos los de Tesla (los mismos cracks que han quitado el sensor de ultrasonidos para aparcar con tronchantes consecuencias Link 4 ), pero es lo que hay.

        • Chipiron - 8 noviembre 2023 - 09:08

          Totalmente de acuerdo con el error de quitar los ultrasonidos como sensores de parking. Ahora, solo con visión, no funcionan de ninguna forma (no en mi caso, pues el mio si tiene sensores, pero lo he leido en varioss foros).

          Pero tambien hay que poner en contexto lo del Nivel II y Nivel III. Las condiciones en las que el Mercedes puede funcionar en nivel 3 son muy, pero que muy especificas. Situaciones donde un Tesla como el mio, de 2017, lo borda.

          No digo que el FSD de Tesla sea perfecto, y probablemente les esté llevando tanto tiempo por la ambición de que funcione en todo tipo de situaciones. Pero lo del nivel III de Mercedes, cuando lo comparas con las situaciones en las que funciona el FSD de Tesla de nivel II hace reir.

          Sin ser perfecto, ni estar acabado, sinceramente creo que Tesla lidera este apartado, si bien es cierto que puede pasar mucho tiempo hasta que lleguen al nivel III de forma certificada para todas las condiciones que contempla.

          Un saludo.

      • c3po - 7 noviembre 2023 - 20:31

        Entiendo tu comentario desde la buena fé de que parecen muchos kilómetros. A mi 17 muertos me parece una barbaridad, deben ser otros los números

        En España hay 33 millones de vehículos, si esos vehículos fueran Teslas e hicieran 200km a la semana(me quedo corto aposta) estaríamos hablando de 6600 millones de km recorridos

        factor 6600/10.5 = 628

        Con la misma tasa que con los Tesla con autopilot, habría un factor 628x17muertos, más de diez mil muertos a la semana. No tienen sentido. No creo que un coche con autopilot tenga esa incidencia, y me creo menos la siniestraliedad sin usar autopilot. Salvo que el compra un Tesla sea un suicida, que no, que están mal. No pueden tener esas cifras los Tesla.

        Cuando se leen ciertas cifras hay que ponerlas en contexto, y yo no me creo que Tesla sea una caja de muertos con ruedas.

        Vaya, yo defendiendo a Tesla !!

        • Lua - 7 noviembre 2023 - 20:46

          Yo incluiria otro factor…

          Si el numero de accidentes de VC es superior, tambien es cierto que existen otros muchos factores: clima, transito, alcoholemias, etc que no estan controlados por ADAS de ningun tipo. Tambien el tiempo en circulacion: 100 años contra 20 escasos.

          La comparacion es absurda en si misma. Hay que comparar vehiculos con similares caracteristicas y en plazo de tiempo equiparable. Si no, es como comparar locomotoras de vapor con trenes electricos.

          Estoy contigo en algo: 17 muertos.

          Donde se situa el «limite de lo aceptable»…???

          30, 60, 100, 399 muertos???

          Lo unico cierto (y aqui Tesla no pinta nada) para no salirme del articulo, es que los experimentos con vehiculos autonomos han resultado ser un fiasco.

          • c3po - 7 noviembre 2023 - 20:49

            Si lo que es tremendo que lo publican como bueno !!!

          • Chipiron - 8 noviembre 2023 - 09:16

            En parte estoy de acuerdo contigo en que lo de los vehículos autónomos está siendo un fiasco. Pero con matizaciones.

            El fiasco viene de que no se ha conseguido el nivel de seguridad esperado en el tiempo estimado. Se ha infravalorado la magnitud del problema.

            Pero si creo que Tesla va por el buen camino, aunque desde luego los plazos no son, ni de broma, los que va anunciando Musk que ya hacen reír (desde 2018 dice cada año que el FSD seria una realidad en 6 meses…).

            Puede que sean 2, 4 o 10 años, pero creo que finalmente el FSD de Tesla será suficientemente fiable como para alcanzar un nivel 3 o 4 con una tasa de accidentes un orden de magnitud menor que en conducción manual.

            Seguro que aún así habrá accidentes y muertos, pero es que no todos los accidentes dependen de tí, tambien está el conductor contrario.

            Saludos.

        • c3po - 7 noviembre 2023 - 20:47

          https://es.statista.com/estadisticas/609704/ventas-de-vehiculos-de-la-marca-tesla-en-el-mundo/

          Han vendido 3,597,323 vehiculos, unos 720 millones de Km a la semana con la misma comparativa

          Entro en tu enlace, y con las mismas me he salido, vaya números que publican…

          «has been approximately one Tesla vehicle fire for every 210 million miles traveled»

          Cada 338mill km uno se incendia, al año arden 110 Tesla

          Vaya las fallas !

          Tampoco me lo creo, que no puede ser

          • Chipiron - 8 noviembre 2023 - 09:01

            Sin ser exhaustivo, pero habiendo leído múltiples artículos sobre el incendio de coches eléctricos, cuando te encuentras uno serio que pone las cifras en contexto el ratio es favorable (por bastante) a los EVs. En otras palabras, por cada millón de coches, hay muchos más ICEs que se incendian que EVs.

            De todas formas, reconozco que yo no me he dedicado a realizar calculos para comprobarlo.

            Las alarmas saltan cuando cualquier nueva tecnología tiene fallos, pues son noticas que venden. He leído multitud de noticas sobre «el incendio de un coche electrico en Oklahoma» y personalmente he visto más de una decena de coches de gasolina en llamas por el area en la que me muevo en los ultimos años y no sale en las noticias.

            Al final, hay un poco de clickbait con este asunto. De algo tienen que vivir los medios informativos…

      • Alvaro - 7 noviembre 2023 - 21:07

        El mundo es ya otra cosa. Mucho tiene que adaptarse FB.

      • Chipiron - 8 noviembre 2023 - 09:10

        Hay otro dato totalmente objetivo y que no requiere de contextos:

        En los test Euro NCAP, Tesla ha superado a cualquier otro coche de sus respectivas categorías. Ha obtenido puntuaciones record.

        Y lo mismo en la agencia homónima americana.

        Quiere decir eso que los Tesla son perfectos? Para nada. Pero probablemente, en cada segmento, si son los coches más seguros del mercado en este momento.

  • #014
    Angel - 7 noviembre 2023 - 21:08

    Te imaginas un aparato de cirugía, cuyo software corra bajo Windows Embedded? De saberlo, nadie se operaría….

    Este problema del software mal testeado existe desde hace muchos años.

    • Lua - 7 noviembre 2023 - 21:18
    • Chipiron - 8 noviembre 2023 - 09:21

      Totalmente de acuerdo!

      El cuello de botella de todo gran proyecto tecnológico es el software.

      Por ejemplo, le pasa al F-35 Lightning 2, o a la capsula Starliner de Boeing.

      Supongo que para que esto no pase se necesita un SO muy solido (supongo que algo similar a Linux, pero una versión muy estable), lenguajes de programación de muy alto nivel que permitan pocos errores y compiladores para los mismos tambien extremadamente robustos.

      Habría que invertir mucho en los 3 frentes para conseguir que el software no sea el culpable de la mayoría de retrasos en los grandes proyectos.

      Saludos.

  • #017
    Gon - 7 noviembre 2023 - 22:05

    No viene al tema, pero sí al personaje. Hoy en mi modesta cuenta Instagram ha aparecido sin aviso previo un bloqueo para que acepte, ceder mis datos o pagar, por seguir usando insta
    Ningún aviso previo, indicando el cambio de condiciones a venir.
    Este método, digamos, brutal, poco elegante para imponer condiciones, me invita, más que a aceptar, a dejar de lado la cuenta

  • #018
    F3r - 7 noviembre 2023 - 22:15

    En realidad el lema es «muévete rápido y fórrate»…

    «encarecer el precio de la irresponsabilidad», dios te oiga…nos habríamos ahorrado el rescate a la banca (sí, a la banca, no a las cajas)

    Por cierto, me fiaré de un coche autónomo dentro de 20 años, y cualquier investigador de AI probablemente te diga algo parecido.

  • #019
    Benji - 8 noviembre 2023 - 09:43

    Es casi como Netflix con sus constantes subidas de precio. Pronto no habrá quien lo pague.

    Por otro lado Amazon tiene fondos sin fin, así que imagino que Prime Video se lleve el gato al agua.

    Otro (Amazon) con «move fast and break things» que le sale bien

    • Lua - 8 noviembre 2023 - 13:57

      Chupito cada vez que Netflix anuncia: calidad por encima de cantidad XDDD

      (visto por ahi)

  • #021
    Juan T. - 8 noviembre 2023 - 11:28

    El mas probable máximo exponente de toda la historia de «tira p´alante que luego ya veremos» va a ser sin duda la IA.

    Primero, nadie se atreve a hacer predicciones sobre sus efectos secundarios y los que se atreven se contradicen enormemente entre ellos. Solo se sabe que potencialmente pueden dejar en pañales a todo lo malo sucedido hasta ahora, tambien lo bueno.

    Segundo, a pesar de lo anterior hay unanimidad en que es imposible un parón o una vuelta atras. Estamos en un claro «point of no return.»

    Tercero, las correcciones , por tanto, se intentarán hacer sobre la marcha, y la legislación afortunadamente va a ser coordinada , al menos sobre el papel por un gran numero de paises.

    El problema es que hay estados gamberros que no están por la labor, y que la potencia de la IA que viene, y que se vislumbra en el ultimo evento de Open AI, va a hacer posible que pequeños grupos de personas puedan causar potencialmente un daño muy grande.

    Lo dicho, tiempos interesantes.

    • Juan T. - 8 noviembre 2023 - 11:57

      Por ejemplo,(de un articulo que enlaza EDans en Technology readings):

      «Una vez que comienzas a habilitar agentes como los que OpenAI señaló hoy, empiezas a construir el camino hacia algoritmos sofisticados que manipulan el mercado de valores; ataques de phishing altamente personalizados y efectivos; discriminación y violaciones de la privacidad basados en automatizaciones conectadas al reconocimiento facial; y todas las consecuencias no deseadas (y actualmente inimaginables) de la colisión de infinitas IAs en Internet.»

      O sea, lo que viene no es que sea malo o bueno , es que es «inimaginable».

      ¿Qué efectos tendrá una IA a la que le das un objetivo y ella misma crea un ejercito de agentes para conseguirlo interaccionando con cuasi infinitos ejercitos de agentes pululando por toda la red con sus propios objetivos?

      Imaginemos ese potencial en un mundo como el actual con paises enfrentados que no tienen empacho en utilizar cualquier estrategia de guerra híbrida o asimétrica.

      Y nosotros hablando aquí de si son galgos o podencos, hasta que lo tengamos encima.

  • #023
    Michel Henric-Coll - 8 noviembre 2023 - 11:52

    Creo que hay (por lo menos) dos lecturas diferentes de la misma frase.

    La que das en este artículo (mueve rápido y no pienses en las consecuencias) es una de ellas.

    Otra es como manera de (metafóricamente) salir de la Edad Media y entrar en el Renacimiento.

    El miedo a cambiar lo establecido, a demorarlo todo por conservadurismo y miedo a lo desconocido frena – o impide – el progreso.

    La exhortación a actuar más de prisa, y a romper cosas puede referirse a des-enquistarse y a hacer evolucionar las cosas.

    Y me consta que en algunos momentos y situaciones, es muy necesario desempolvar las viejas rutinas.

    Obviamente, luego vienen las interpretaciones desorbitadas.

    Hay que limpiar el almacén de las porcelanas, pero no encargar la tarea a un elefante.

    • David Marco - 9 noviembre 2023 - 08:10

      En el negocio del desarrollo de software hay un lema, que en mi humilde opinión (y todos mis años experiencia) sigue siendo verdad el 99.99% de las veces: BUENO, BONITO, BARATO: ELIGE DOS.

      O como dicen los anglosajones, money talks, bullshit walks.

      En cierto modo Zuckerberg no inventó nada :)

Dejar un Comentario

Los comentarios están cerrados