Conducción autónoma: estadísticas y estrategias

Tesla Autopilot

Noemí Navas, de Expansión, me llamó para hablar sobre los últimos accidentes en vehículos fabricados por Tesla, y sobre si eso supone, de alguna manera y como ha finalmente titulado, que “¿Se rompe el sueño de la conducción autónoma?” (pdf), una pregunta para la que mi respuesta es un categórico “no”.

El accidente de Joshua Brown en un Tesla Model S al impactar contra el remolque de un camión cruzado en la carretera es indudablemente trágico y desgraciado, un conjunto de casualidades y de limitaciones que se conjugan muy pocas veces, pero que fundamentalmente, responde a un problema derivado del exceso de confianza: todo indica que el conductor, que según algunos estaba viendo una película y que en ocasiones anteriores se había grabado a sí mismo utilizando el Autopilot, tenía la costumbre de desobedecer las instrucciones del mismo, que piden claramente al usuario que mantenga su atención en la conducción y sus manos en el volante.

Que un camión con remolque largo cruce perpendicularmente una autopista, que el remolque sea blanco y brillante, que el obstáculo que supone no esté a la altura del suelo sino elevado, y que ni el Autopilot lo detecte ni el conductor esté suficientemente atento como para ver algo así es una combinación de factores muy poco usual. Y en esos casos, los factores que dependen del algoritmo se corrigen rápidamente y se incorporan para que no vuelva a pasar algo parecido incluso en las probablemente muy poco repetibles circunstancias similares, pero la pérdida de una vida humana ya ha tenido lugar. Pero sobre todo, el problema no está en la tecnología, sino en el exceso de entusiasmo que lleva a alguien a desoír las recomendaciones de uso de la misma. El cerebro y los patrones de conducta humanos, contrariamente a lo que ocurre con los algoritmos de las máquinas, no es fácilmente reprogramable, y si algo demuestra el accidente de Brown es que los humanos, ante una circunstancia que les genera confianza, tienden a disminuir el nivel de prudencia recomendable incluso haciendo caso omiso de las reglas marcadas por el fabricante. Es normal, todos tenemos ejemplos de ese tipo, y me consta perfectamente que Joshua Brown, en cierto sentido, podría haber sido yo mismo, que tiendo a compartir ese entusiasmo con lo nuevo y a cometer imprudencias con cierta facilidad.

¿Quiere eso decir que el sueño de la conducción autónoma de alguna manera se rompe? Nada más lejos de la realidad. Los números cantan: en el tiempo en que una persona ha perdido la vida en un accidente tan solo parcialmente atribuible a la conducción autónoma, muchos miles de personas han fallecido en las carreteras víctimas de fallos derivados de la conducción humana. El desarrollo de la conducción autónoma va a salvar muchísimas vidas, y detener su avance por un accidente que proviene de no seguir las normas recomendadas por el fabricante es una medida irresponsable, como demuestran los números. El problema no está en el Autopilot, sino en la naturaleza humana. No lo olvidemos: si las investigaciones de la National Highway Traffic Safety Administration (NHTSA) terminan determinando que Tesla desconecte su Autopilot hasta que los hechos puedan ser oportunamente esclarecidos, la consecuencia no será que se salven vidas, sino que se pierdan muchas más. 

El problema, por tanto, está en la naturaleza humana, en el exceso de confianza que lleva a las personas a creer que una tecnología de ayuda a la conducción que exige mantener la atención en la carretera y las manos en el volante es una tecnología de conducción completamente autónoma que nos permite relajarnos y dedicarnos a otras cosas en lugar de conducir.

De ahí que la estrategia seguida por Google, otro de los grandes implicados en el desarrollo de la conducción autónoma, sea radicalmente diferente: retirar al humano de la ecuación y eliminar toda posibilidad de que interfiera en la misma, de manera que no pasa por la fase de “ayuda a la conducción” y se lanza directamente a la de “conducción completamente autónoma”. Directos a fase IV sin pasar por la III o la II. Una aproximación sin duda interesante, que por el momento ha dado lugar a progresos mucho más radicales, pero que no quiere decir que otras estrategias sean incorrectas, simplemente que habrá que esforzarse en explicar a los usuarios de los productos lo que son y lo que no son. La nueva version del Autopilot, la 2.0, ya está en camino, y sin duda aprovechará los valiosos datos de millones de kilómetros de conducción autónoma con un número mínimo de accidentes para mejorar de manera sensible.

¿Debe Tesla seguir probando su Autopilot cuando existe alguna posibilidad de accidente? Por supuesto, si con ello reduce la posibilidad de otros accidentes que, con la confianza que nos ofrecen décadas de estadísticas luctuosas, se habrían producido. Es como funciona la ciencia y el desarrollo tecnológico: se prueban cosas, se evalúan los resultados, y se corrige, todo ello dentro de unos límites de prudencia que, en mi opinión, en ningún caso se han sobrepasado. Y la estadística me da la razón radicalmente.

El camino del progreso está lleno de víctimas, y en este caso, el camino de la conducción autónoma cuenta, sin ninguna duda, con más casos de personas salvadas de accidentes gracias a la tecnología que muertas en accidentes por su culpa. Revertir el razonamiento matemático y utilizarlo tendenciosamente para detener el progreso provocaría que muchos accidentes que podrían haber sido evitados no lo sean, y que sigamos creyéndonos falsamente más seguros cuando conducimos nosotros mismos, cuando la gran verdad es que cuanto más dejemos hacer a la máquina y menos toquemos nosotros, más seguros estaremos.

Otros accidentes recientes, como el de Albert Scaglione, parecen tener mucho más que ver con la imprudencia y con la velocidad excesiva que con el uso del Autopilot, y de hecho, todo indica que el conductor va a ser considerado responsable y convenientemente sancionado. El anterior, en el que un vehículo colisionó contra un edificio, parece haber tenido que ver con una confusión entre pedales y con una aceleración brusca que con un problema del Autopilot, y tampoco causó víctimas. Sin duda, como con toda tecnología en fase de adopción, nos disponemos a ver un cierto número de casos en los que los usuarios tratarán de culpar al vehículo, pretenderán que no ha habido ningún problema por su parte, y terminarán viendo, en la mayor parte de los casos, cómo un vehículo que registra todas las circunstancias de la conducción con precisión milimétrica termina por contradecir su versión. El eslabón débil no es la tecnología, somos las personas, como demuestran décadas y décadas de accidentes en la carretera. Cualquier obstáculo que se pretenda poner al desarrollo de la conducción autónoma implicará que tardemos más tiempo en eliminar al torpe humano de la ecuación. Y es eso, no el lanzar una versión de un Autopilot, lo que, nos pongamos como nos pongamos, será la verdadera acción irresponsable.

 

 

This article is also available in English in my Medium page, “Self-driving cars: who’s to blame for accidents?

 

58 comentarios

  • #001
    Juanmi - 10 julio 2016 - 11:05

    Da igual lo que digan la lógica y la razón. Al final, cada vez que suceda algo así, todos los medios de comunicación sensacionalistas (o sea, todos) se harán eco de la noticia para meter el máximo miedo posible, al igual que siempre hacen con las nuevas tecnologías.

  • #002
    Jose Antonio Garcia - 10 julio 2016 - 11:08

    Mi opinión sobre la conducción autónoma es que es un avance bueno, pero que debería estar regulado y sobre todo certificado por pruebas p.ej. UE muy restricitivas.

    No creo que hoy x hoy, estén preparados para una conducción p.ej. En Madrid, en donde se te cruzan por todos lados, te invaden, gente saltándose normas, yendo a velocidades inadecuadas, etc. Pero es mi opinión, mientras no se regule su puesta en servicio no lo sabremos.

    Lo que si me parece criticable, es el aviso de puedes poner el Autopiloto pero estar atento, vaya disclaimer más chapucero. O es seguro, o no lo es. Con el disclaimer el propio fabricante nos da la respuesta. No son seguros.

  • #003
    Gorki - 10 julio 2016 - 11:29

    Recientemente un ensayo clínico en Francia que dejó a una persona en coma y a otras 5 graves, por supuesto antes de hacer pruebas con voluntarios, ese medicamente habia cumplico on los protocolos de pruebas que obligan a realizar pruebas en animales, que no valieron en este caso para detectar su riesgo en seres humanos.

    ¿Alguien pediría que dejaran de hacerse ensayos clínicos? — NO lo que si es razonablee es solicitarr modificar los protocolos de modo que sea menos probable, llegar a ensayos clinicos con personas con menos probabilidad de que algo así se repita,

    Yo creo que con la conducción automática hay que tener una actitud similar. Averiguar por qué falló el sistema y establecer los medios necesarios para que eso no vuelva a ocurrir. Pero nunca tendremos la seguridad al 100% de haber previsto todos los casos.

    Lo que no me ha gustado un pelo es la actitud de Tesla, ocultando el hecho para no perjudicar una emisión de acciones. El eslabón débil no es la tecnología, somos las personas , es cierto pero personas son las que dirigen Tesla

  • #004
    Krigan - 10 julio 2016 - 13:41

    El caso es que el accidente mortal se produjo porque el radar de detección de obstáculos no está bien calibrado. Detecta cualquier obstáculo que esté en el suelo, pero descarta aquellos obstáculos que están elevados a cierta altura sobre el suelo, porque podrían ser letreros elevados situados sobre la carretera. El remolque del camión era tan elevado que el impacto se produjo contra el parabrisas del Tesla. El resto del coche simplemente pasó por debajo.

    La solución obvia es cambiar la calibración del radar de tal manera que detecte (o no descarte) cualquier obstáculo que esté a una altura inferior a la del coche.

    Una simple actualización de software, y ya este tipo concreto de accidente no volverá a producirse. Los conductores humanos seguirán haciendo cosas tales como cambiar a carriles ya ocupados (ya se apartará el otro), conducir bajo los efectos del alcohol, dormirse al volante, ser distraído por los niños, creerse Fitipaldi, o incluso conducir sin carnet (o con el carnet sacado en Gibraltar, porque eres tan inútil que no fuiste capaz de sacarlo en España, lo cual ¡es legal!).

    El primer accidente mortal del Autopilot de un Tesla es después de 130 millones de millas conducidas. El promedio en USA es de un accidente mortal cada 94 millones de millas, y el promedio mundial es cada 60 millones. El Autopilot ya es más seguro que un conductor humano, e irá mejorando rápidamente. El que quiera vivir peligrosamente, que no active el Autopilot.

    • acerswap - 10 julio 2016 - 15:09

      ¿Una simple actualizacion de software? Quizás lo que haya que hacer es cambiar el radar de sitio.

      • Krigan - 10 julio 2016 - 17:34

        Parece ser que el radar sí que detecta objetos elevados, pero los descarta.

    • Urbanita - 10 julio 2016 - 16:09

      Yo me parece mejor aproximación la de Google, si el humano no mete la mano mejor, o todo manual o todo automatico, pero que sentido tiene el autopilot si cuando la orden del humano puede contradecir la de la maquina??

      • Krigan - 10 julio 2016 - 17:29

        Ambas aproximaciones tienen sus ventajas e inconvenientes. Google tardará más, y cuando lo consiga tendrá un coche totalmente autónomo, pero que solo funcionará en zonas previamente mapeadas.

        Tesla, por el contrario, lo que hace es ir añadiendo característica a característica. Que si el coche aparca solo, que si puede ir solo por un carril de autopista, que si (próximamente) puede cambiar solo de carril sin más que el conductor le dé a la señal luminosa correspondiente… y todo mediante actualizaciones de soft, porque lleva un par de años vendiendo sus coches con los sensores del Autopilot de serie.

        En general Google va más avanzada, pero sus prototipos siguen necesitando un conductor de seguridad cuando van por la calle, mientras que Tesla es ya tecnología en servicio, pero ningún coche suyo puede hacer un trayecto completo, solo algunas tareas.

        • Jose Antonio Garcia - 10 julio 2016 - 17:34

          Ok.
          Que sigan haciendo prueba en EEUU,
          Así no pasamos nosotros la beta, bueno alfa

          • Asier - 10 julio 2016 - 21:36

            Eso, ¡que inventen ellos!

          • Jose Antonio Garcia - 11 julio 2016 - 10:24

            Si son empresas españolas con ingenieros españoles ningún problema a que se hagan aquí
            PERO !!! No nos equivoquemos si se hacen pruebas en España promovidas por empresas foráneas es porque aqui el escenario les conviene. No quiero entrar al porque pero creo que todos las conocemos. P.ej. ir a ver la cuantía de las indemnizaciones por accidente de trafico, España vs. US.

    • Gorki - 10 julio 2016 - 18:02

      El problema es que me cuesta creer que los coches de Tesla haya recorrido 130 millones de millas en fase automática, porque ese dato procede del único que quizá pueda tenerlo que es Tesla, parte interesada en el asunto y precisamente quien ocultó más de diez días, su primer accidente mortal, para no complicar la campaña para la ampliación de capital, que se cerró el 18 de mayo y que le ha permitido recaudar 1.460 millones de dólares.

      ¿Que no son capaces de decir, o de ocultar, para proteger su negocio?

      • Krigan - 10 julio 2016 - 22:34

        Un poco de sano escepticismo siempre viene bien, pero si ese dato les fuera desfavorable veo más probable que se lo callasen que no que se lo inventasen.

        • Jose Antonio Garcia - 11 julio 2016 - 10:57

          Yo estoy de acuerdo que las cifras estadísticas de parte tienen tanta validez como cuando una abuel habla de sus nietos.

          ¿por que no se homologan?
          Puede ser por que vale dinero hacerlo, ó están en una fase muy temprana que todavía dolería mucho decir la verdad
          Prueba alternativa.
          No es lo mismo decir tantos km. recorridos. Como que en Madrid están funcionando 24 horas 50 taxis con el nivel x de incidencias.

  • #015
    Bertie - 10 julio 2016 - 18:34

    Pues la verdad, vaya gracia una tecnología que te obliga a estar pendiente de la conducción y tener las manos en el volante. Creo que esa advertencia es por motivos legales, como en los vasos de café en McDonalds con el rótulo “Cuidado: el líquido puede estar muy caliente”. Así si pasa algo, la culpa es del usuario, que los abogados en USA no se andan con tonterías.
    Por otra parte, aunque se consiguiese un factor de fiabilidad del 99,999%, que en ingeniería ya es el sumum, si multiplicamos el 0,001% restante por el número de desplazamientos diarios (del orden de millones), aún nos daría un número bastante apreciable de accidentes/incidentes. Y serían “culpa” de la máquina.
    Por otra parte, un vehículo autónomo sólo podrá reaccionar a aquellas situaciones que tenga previamente programadas, y siempre puede haber alguna que se le escape. Probemos a hacer el ejercicio mental de tomar nota de todas las situaciones anómalas (conductores que no respetan señales, peatones que cruzan por donde quieren, inclemencias meteorológicas, baches, cambios en señalización o señalización poco visible…) que nos encontramos en un corto trayecto por ciudad, y pensemos cómo tendría que reaccionar un vehículo ante ellas. Quizás funcionase en los países nórdicos, pero en España, Italia, la India o China…

    • Enrique Dans - 10 julio 2016 - 18:45

      Bertie, discúlpame, pero tu comentario demuestra que desconoces el concepto de machine learning e inteligencia artificial. Si crees que un vehículo solo puede responder a acciones previamente programadas, te has quedado enormemente atrás en el desarrollo tecnológico, eso ya no tiene nada que ver con la realidad y el contexto actual. Un ordenador va mucho, muchísimo más allá de responder a acciones previamente programadas, si fuese como tú dices, estarían constantemente atropellando peatones y pegándose contra obstáculos imprevistos, no llegarían ni a la vuelta de la esquina. La máquina aprende, y aprende además no solo de su experiencia, sino de la de toda la flota. Aprende a reconocer patrones de todo tipo y actúa en función de reacciones mucho más rápidas, fiables y eficientes que las humanas. Pensar que por haber aparecido un bache o por haber un obstáculo imprevisto vamos a tener un accidente “porque no estaba programado que estuviese ahí” es completamente implanteable, y no merece demasiada discusión. La máquina analiza todo el entorno (con mucha mejor visión en 360º y en oscuridad total si quieres), cualifica cada incidencia sobre la marcha con unos reflejos infinitamente superiores y más fiables que los de un humano, entiende que una forma determinada que se mueve con unos patrones determinados es una pelota y que es muy posible que tras ella venga un niño, y aplica los frenos con muchísima más fiabilidad que un humano, calculando además los efectos de la frenada en tiempo real. Y así con todo.

      Y por favor, entiende que mi comentario no pretende ser en absoluto descalificatorio ni condescendiente hacia tu persona, nada más lejos de mi intención: estoy todos los días dando clase a personas con una gran experiencia y preparación, y tu error es enormemente común, porque provenimos, efectivamente, de una época en la que un ordenador solo era capaz de hacer “lo mismo que un humano pero más rápido”. De verdad, nada personal, no te descalifico a ti ni pretendo sonar en absoluto prepotente, es simplemente que tu idea es completa y radicalmente incorrecta…

      • Jose Antonio Garcia - 10 julio 2016 - 20:09

        Enrique,
        Con ánimo pedagógico. Si tengo 2 algoritmos para calcular una cosa simple, p.ej una función coseno.
        Algoritmo A lo hace por un medio algebraico
        Algoritmo B una red neuronal, al que la aplicamos una rutina de aprendizaje p.ej.automático. O que identifique una cara, o que a partir de un TAC reconozca un cancer…

        La única diferencia que veo es que el algoritmo basado en IA no se le pone inteligencia, es un entrenamiento y a partir de ahí saca un resultado siempre aproximado con un cierto error.
        Este método de IA por definición impreciso, es el que más se ajusta a aprender a conducir. Podrá ser más preciso que un humano?, aunque podamos intuir que si, lo que si hace falta unas pruebas muy rigurosas, y que pase una homologación super restrictiva por parte de alguien que no sea el fabricante. Además las decisiones que tome sus consecuencias tienen impacto en vidas en tiempo real. Si se equivoca una AI con un coseno, pues no me impacta, pero en la calle si. Luego que la abuela fuma, que si el radar es miope, etc, etc

        Por cierto argumento estadistico, si no está certificado por un organismo, es poco serio…

      • Miau DB - 11 julio 2016 - 18:10

        Enrique, eso que comentas es verdad solo hasta cierto punto. Has descrito el proceso ideal de entrenamiento de un coche autónomo, algo muy parecido a cómo GeoHotz ha desarrollado su modelo de piloto automático.

        Aun así, Tesla utiliza en sus sistema de conducción autónoma dos fases de aprendizaje: En la primera un sistema de reconocimiento de patrones se encarga de etiquetar los objetos y eventos reconocidos mediante los sensores externos para crear un modelo del entorno sobre el que el coche pueda decidir.
        Una vez creada esta “escena virtual”, esta se usa como entrada para el modulo de toma de decisiones del autopilot.

        Esto significa que en realidad el sistema de decisiones no está operando directamente con los datos de los sensores, sinó con un modelo abstracto creado a partir de un montón de cajas negras apiladas que se dedican a crear tags con lo que perciben.

        El problema es que al trabajar de esta manera es imposible poder predecir como el sistema va a reaccionar ante “ejemplos raros”, ya sea debido a que a alguien se le olvidó incorporar a la base de datos de entrenamiento una determinada etiqueta (obstáculos elevados), a que la imagen presente un patrón que la red neuronal no pueda filtrar adecuadamente (mal contraste de obstáculos con entorno) o una combinacion de ambos factores.

        El problema de usar un sistema de etiquetas para crear el entorno es que en caso de un error en tu sistema de visión, el sistema de toma de decisiones no será consciente de él y probablemente interprete que en lugar de un “objeto no reonocido” no hay ningun obstáculo.

        Es importante recordar que aún no entendemos realmente como funcionan los algoritmos de IA que se usan actualmente y que estamos compensando nuestras deficiencias cognitivas incrementando el tamaño de la base de datos de ejemplos. No podemos predecir cómo un modelo fallará, y probablemente veremos mas accidentes de este tipo durante los próximos años.

        Ojalá esté equivocado, pero probablemente mientras Tesla use la arquitectura actual este tipo de accidentes serán inevitables hasta que se hayan encontrado ejemplos de “todos los casos raros posibles”, ya que no existe forma de predecir y controlar correctamente esta “ceguera selectiva” de los sistemas de computer vision.

  • #019
    Bertie - 10 julio 2016 - 19:04

    Ningún problema, Enrique. Pero sí que conozco los conceptos de “machine learning” e inteligencia artificial. De hecho, me intereso por el tema (aunque no sea mi especialidad) desde los años 80. En los que ya se decía que los ordenadores iban a reemplazar a las personas en muchas tareas, incluyendo la conducción de vehículos. Y de hecho, ya en aquella época se construyeron prototipos que más o menos funcionaban.
    Las bases teóricas de la IA no han cambiado mucho desde hace decenios. De hecho, de España ha surgido un gran (y poco conocido) especialista como Ramón de Mántaras que ha realizado contribuciones espectaculares en el campo de la heurísticas, motores de inferencia, sistemas expertos… En realidad, el “machine learning” es sólo el anglicismo para sistemas expertos que generan sus propias reglas en base a un motor de inferencia. Pero el problema de la conducción autónoma es mucho, mucho más complejo. Primero, el vehículo tiene que reconocer y modelizar la realidad circundante en base a un conjunto de sensores, tarea muy difícil y propensa a errores (ahí es donde se la ha pegado el Tesla). La parte más sencilla es decidir la acción a tomar, pero para ello primero ha de reconocer la situación y compararla con su “biblioteca”. Y si no la encuentra, pues tendrá que inventar algo. ¿Y cómo lo va a hacer? Un ejemplo es el de los filtros de spam, que también aplican “machine learning”… pero aprenden en base a las interacciones con los humanos que marcan los mensajes como spam. Hacer eso en la carretera podría ser un poco peligroso.
    Por otra parte, creo que no se podría vender un coche autónomo con su cerebro “en blanco” o con un conjunto de reglas básicas, y confiar en que vaya aprendiendo con el uso.

  • #020
    Gorki - 10 julio 2016 - 19:26

    Habrás de convenir, que a máquina no pudo comprender que un objeto suspendido a un metro de altura era un peligro mortal y que debía parar y no intentar pasar por debajo. De acuerdo, era algo extraño.no previsto, pero lo malo es que nadie puede saber cuantas de estas cosas extrañas y no previstas no puede comprender,

    Cada vez será mas seguro, y puede que reacciones mejor que un hombre, pero ante lo imprevisto aun reacciona un hombre mejor que las maquinas. Pero no el hombre que va distraido pensando confiado que va seguro con su piloto automático.

    • Jose Antonio Garcia - 10 julio 2016 - 20:15

      Yo reconozco que me distrariia con el sistema actual. Prefiriría conducir yo o que me lleven. Pero que me lleven y corregir un fallo de un sistema es muy dificil. Al final te confías.

  • #022
    DANN ELIO 101 - 10 julio 2016 - 20:10

    Pues sería el año 98 o o así..que estábamos cursando, mis compañeros de clase y yo, en el Instituto de FP…y en uno de los descansos..entre clases..estuvimos hablando de lo que por aquel entonces se entendía como “COCHES AUTOMÁTICOS” que iban a triunfar, según las revistas especializadas, en la automoción del futuro…Y que lo más que tenían de especial era que no tenías que pisar embrague, ni tampoco tocar el cambio de marchas…

    El caso es que uno de mis compis me dijo: ” Daniel, yo jamás conduciré un coche de esos, con ese tipo de coches…se pierde la pasión de conducir !!!! ” Se me quedó en la memoria su frase…hasta el día de hoy.

    A ver si un dia de estos, lo busco y lo localizo por Facebook…y me lo invito a unas cervezas bien frías, y ya de paso que charlamos, que me encantaría preguntarle: ”

    Bueno tete..¿te acuerdas de aquellos coches de los que hablábamos en los 90? Sí..sí..aquellos con cambio automático..”y-ná-más”?? :-) ¿Cómo se te queda el cuerpo con los SmartCars autónomos que se nos vienen ahora? ¿te siguen aburriendo? ¿te aburren más que aquellos de entonces? Estos de ahora..¿los odias..quizá? Por cierto, ¿qué coche llevas ahora? Es que me reconcome la curiosidad..!!!

    PS: Si no te hacen tilín los Tesla…y en algún sorteo..o en algún concurso de la TV toca uno de éstos…pásame las llaves que yo te lo quito “el muerto” de encima…Para algo estamos los amigos no??? :-):-):-):-):-)
    —- Buffffff !!!! yo con 1 Tesla…y el veranito por delante !!!! Que alguien me detenga !!! —–

  • #023
    Jose Antonio Garcia - 10 julio 2016 - 20:36

    https://www.boe.es/boe/dias/1989/07/27/pdfs/A24084-24085.pdf

    Leyendo el código de la circulación no parece que sea posible hoy en día, que haya un vehículo sin conductor circulando. Al igual que el Convenio de Viena 1971 sobre Seguridad Vial, también habla de conductores, humnanos.
    Si se ponen en circulación ( no pruebas) debería de haber una actualización legislativa. Y si se permiten, veo clario que se debería normalizar que vehículos son aptos al igual que una persona, se le certifica hoy en día.

  • #026
    Diego N. - 10 julio 2016 - 20:49

    Si el camión también hubiese sido un vehículo autónomo, o por lo menos un vehículo conectado de alguna manera a otros cercanos (algo seguramente muuucho más sencillo) el accidente se podría haber evitado.

    El coche sabría dónde estaba el camión, su orientación y que si continuaba en esa dirección a esa velocidad, iba a colisionar con él.

    • Enrique Dans - 10 julio 2016 - 20:51

      Cierto, muy buen detalle…

      • Alqvimista - 11 julio 2016 - 08:19

        Pues ahora que lo decís, esa es una magnífica idea. Salvo Tesla todos los demás jugadores son fabricantes tradicionales, ¿qué mejor para sus coches autónomos que contar con información de los coches que les rodean aunque sean coches tontos? Así que ¿qué tal si empiezan YA a implantar dichos emisores en sus coches actuales? ¿Se ha estudiado algún estándar en esto o cada fabricante irá por su lado? No sería lógico pero tampoco sería la primera vez…

    • Krigan - 10 julio 2016 - 23:58

      Gran parte de la dificultad en desarrollar coches autónomos es debida a que el mundo ha sido diseñado para conductores humanos. Por ejemplo, los semáforos encienden luces de colores, y las señales de tráfico muestran imágenes (incluidas las horizontales pintadas en el suelo), pero no emiten señales informáticas.

      En un mundo en el que los semáforos anunciasen en red su presencia y orientación, y si están en “verde” o “rojo” (se permite el paso o no), y las señales hiciesen otro tanto (por ejemplo, indicando una limitación de velocidad, o el fin de la misma), la conducción autónoma sería mucho más fácil de desarrollar, más fiable, y no se requeriría mapeado previo de la zona (ni las actualizaciones al mapeado).

      Lo gracioso es que primero vamos a ver el despliegue de los coches autónomos en un mundo no pensado para ellos, y después veremos la adaptación de ese mundo a ellos, para que funcionen mejor. Es decir, se va a poner el carro delante del caballo.

      • Jose Antonio Garcia - 11 julio 2016 - 10:32

        Es lo bueno que tuvo Dios al crear el mundo que no había base instalada. ;-))

        Seamos serios tenemos el mundo que tienes, no Disneylandia. A partir de ahí a buscar soluciones que lo mejoren con el menor impacto y coste. Y estoy de acuerdo que los conductores humanos SOMOS el mayor problema. Pero si ese es el ecosisistema a estrujarse la materia gris y hacerlos posibles.
        No seamos luditas con nosotros mismos… esto es como el chiste del hijo negro que se encuentra la lampara de Aladino…

        PS: Nada en contra de los vehículos autónomos, no vayas por ahí.

        • Krigan - 11 julio 2016 - 11:16

          El mundo es el que construimos, y se puede cambiar. Ya sé que no se va a hacer, pero sí que es posible poner el caballo delante del carro.

          Lo lógico hubiera sido empezar por vehículos autoconducidos allí donde su desarrollo es casi trivial: trenes y metros. Pero no hay ningún tren autoconducido en España, y solo un pequeño puñado de líneas de metro en Barcelona. Esto es algo que se tendría que haber hecho hace décadas, y nos habríamos ahorrado los muertos del Alvia.

          La siguiente fase habrían sido las autopistas, colocando radiobalizas de posición y señales electrónicas, con zonas de parada para camiones y autobuses en las principales entradas y salidas. En lugar de hacerse todo el trayecto de Madrid a La Coruña, el camionero lleva el camión hasta el punto de entrada a la autopista, se baja ahí, el camión va solo hasta el punto de salida en La Coruña, donde otro camionero monta y lo lleva hasta donde se entrega la mercancía. Esa infraestructura electrónica de autopista podría ser aprovechada también por los coches particulares que la soporten.

          La fase final serían las poblaciones, primero las grandes ciudades y después los pueblos. Aprovechable desde el primer momento por camiones, autobuses urbanos, y robotaxis, y también por coches particulares según se vaya renovando la flota.

          Haciéndolo bien, le podríamos haber sacado años de ventaja a Google. En lugar de ello, aquí estamos todos los países del planeta esperando a que Google complete sus pruebas de una tarea mucho más difícil, el coche autoconducido en un mundo hecho para humanos. Lógicamente, los beneficios se los llevará Google.

          En el colmo del disparate, habrá gente que diga que Google es demasiado grande, que dependemos demasiado de Google…

          • Jose Antonio Garcia - 11 julio 2016 - 12:41

            En este post estoy bastante de acuerdo, técnicamente hablando. Incluso podría estar de acuerdo que google ha hecho alguna cosa buena, y otras evidentemente no.

            En principio los monopolios sólo son buenos para el que gana dinero con ellos. Aunque no lo sea, si de facto se tiene una posición dominante de mercado eso es malo para los consumidores, y la falta de competitividad real ( esta palabra sé que le gusta ;-)

            Una cosa es la posición técnica, incluso económica, y otra es la social o política, que se que soy una especie rara avis, pero deberiamos “charlar” con prorfundidad, que hay ciertos valores que se deben guardar y proteger en este país(España). P.ej:

            * Derechos fundamentales de la persona incluyendo trabajo, vivienda,
            * Defensa empresas españolas que contratan en el país, que tributan en el país,…
            * Fomentar el I+D+i local

            Por eso cuando oigo hablar de Amazon, Google etc que van a lo que van, y aqui arramplan con todo pues sncillamente en ese aspecto NO.

          • Krigan - 11 julio 2016 - 20:49

            Jose Antonio García:

            Creo que deberíamos distinguir entre defensa de los derechos constitucionales, e incluso de otros no constitucionales, y la propaganda barata de los incompetentes y aprovechados (que a menudo son los mismos) según la cual si un competidor (mucho) más eficaz les come el terreno es que se está atentando contra la Constitución y nuestros más sagrados principios.

            No va por ti, me parece que eres una persona que cree sinceramente lo que predica, pero ser sincero no significa necesariamente tener razón, ni proporciona inmunidad frente a la intoxicación informativa e ideológica.

            Para muestra basta un botón. Antes de que la Kindle Store llegase a España, el mercado del libro electrónico era prácticamente inexistente en este país, lo más que llegaron a crear Planeta y compañía fue… Libranda. No será porque muchos no se lo advertimos, lo estuvimos diciendo durante años.

            Llegó Amazon con su Kindle Store… y arrasó. No hay ningún poder mágico, otorgado por Satán, en Amazon y Google, simplemente son eficaces.

            Mercadona también es eficaz… en lo suyo. Pero el mundo cambia, y tiene que aprender a ser eficaz también en la Red. De lo contrario, Amazon le irá comiendo el terreno. Con la tecnología actual, el almacén va a prevalecer sobre la tienda física. Es más barato, ofrece mayor variedad, es más automatizable, es más cómodo, etc.

            En cuanto al derecho al trabajo, ¿no deberíamos empezar a cambiarlo por el derecho a tener unos ingresos dignos? Ya sabes, RBU, RMI, o similares.

          • Jose Antonio Garcia - 11 julio 2016 - 21:40

            Krigan.
            En lo fundamental de acuerdo.
            Tengo mi forma de ver las cosas.
            Prefiero tener mis errores que repetir los de los demás.
            La info siempre vendrá capada o será subjetiva…
            Cuanto más tengamos mejor.

  • #035
    Carlos Quintero - 10 julio 2016 - 21:25

    Hay una parte muy interesante, y es que cuando se corrige un fallo para un coche autónomo, se corrige para toda la flota. Compárese esto con la conducción humana, en la que cada uno corrige sólo su comportamiento en base a sus propias experiencias. Por ejemplo, en España la mayoría de los conductores no sabe circular correctamente (conforme a la norma) en las rotondas (intentan salir de la rotonda desde el carril interior “haciendo un recto” pensando que el coche del carril exterior también se va a salir, cuando este podría seguir dando la vuelta correctamente a la rotonda por su carril exterior). Solamente cuando has tenido una experiencia próxima al impacto (o con impacto incluido) ya no se te olvida.

    Por otro lado, no estoy seguro de si es preferible un sistema que conduce casi solo pero te obliga a ir pendiente todo el tiempo por si tienes que tomar el control (yo creo que induciría a la relajación y al exceso de confianza) o un sistema en el que conduces tú y él te avisa de circunstancias que puede que no hayas percibido y puede quitarte el control en casos extremos. En el caso de los aviones, creo que en un programa de accidentes aéreos dijeron que los pilotos pierden habilidades en circunstancias complicadas porque se acostumbran más y más a que sea el piloto automático el que controle el avión, y ya existían dos corrientes: una favorable a que el avión pilote automáticamente cada vez más y la otra favorable a que sea el piloto el que tenga más el control de su avión.

  • #036
    Javier Lux - 11 julio 2016 - 09:04

    Os acordais del A320 y su revolucionario sistema “Flight by wire” donde el joyistick y el software reemplazaban el tradicional “cuerno” de hidraulicos ?

    Hubo unos cuantos accidentes iniciales que disminuyeron con las periodicas actualizaciones de software del “flight by wire”. En internet lo cuentan.

    Esto es lo mismo.

    • Bertie - 11 julio 2016 - 11:30

      Buena comparación, y que me hace pensar más que todo esto es un ‘hype’ de marketing. Ahora todo el mundo tiene que tener un vehículo autónomo para subir la cotización de las acciones: Apple, Google, Über, GM, Ford… pero mi opinión es que la tecnología aún está muy, muy lejos de poder ser viable a gran escala.
      Y volviendo a la comparación: si lo que comentas le ha pasado a Airbus con unos sistemas muchísimo más sencillos (en serio, sólo tiene que mantener los parámetros de vuelo y eso es mucho más fácil que evitar colisiones continuamente) que lo que se demanda de un vehículo autónomo, y tras un rigurosísimo proceso de validación y pruebas, tanto en la propia empresa como por parte de organismos independientes, puede ser mucho más grave en los vehículos autónomos (nota al margen: ¿como harán la ITV a un vehículo autónomo para asegurarse de que reacciona bien en todos los casos y no tiene algún “bug” oculto?) Por cierto, Tesla no ha dicho cuantas veces ha tenido que intervenir el conductor para evitar algún problema. Ni Google menciona en voz alta que su vehículo sólo funciona si tiene el terreno digitalizado con una precisión de pulgadas, y se han añadido manualmente todas las señales y semáforos.
      Y como menciona LECTOR, una conducción supervisada no es conducción autónoma. De hecho, hay estudios que demuestran que el tiempo de reacción del conductor para tomar el control del vehículo en caso de emergencia es demasiado largo.
      Y si se pone como “cebo” la seguridad, la mejor dirección sería aplicar la IA a detectar potenciales situaciones de peligro advirtiendo al conductor humano, y en caso de que el sistema estuviese 100% seguro de que una acción automática evitaría un accidente, tomar el control. De hecho hay fabricantes que van por ese lado, creando una “burbuja virtual” alrededor del coche.

      • Jose Antonio Garcia - 11 julio 2016 - 12:22

        Completamente de acuerdo con Bertie y Lector,

        Para que no haya dudas.
        ¿Existe alguna documentación, reglamentación por la que se ha autorizado circular en pruebas autónomas completamente algún vehículo de este tipo, en alguna parte del mundo?
        Solo he visto que se ha autorizado es circular vehículos con “conductor” de backup…
        ¿ Estamos pues ante otra campaña de marketing, de las que estamos acostumbrados?

  • #039
    lector - 11 julio 2016 - 09:47

    Si un coche autónomo requiere que estés atento, no es autónomo, así de sencillo. Y tal y como menciona algún comentario, no es realista pensar que alguien va a estar atento por si en un caso extraordinario el sistema no es suficiente, la distracción y el aburrimiento lo impiden. Así que pueden pasar dos cosas: o bien evolucionan para que el conductor no necesite intervenir en ningún momento o bien se le da la vuelta y la conducción se centra en el conductor pero estando asistido lo mejor posible como el sistema, como una evolución a cosas como el sistema de mantenimiento de carril actual .
    Si la ventaja de la conducción Autónoma es que me puedo estar leyendo un libro camino a Burgos, no se puede pretender que me tire todo el viaje mirando la carretera sin hacer nada por si el sistema no es suficiente en algún momento. Para eso prefiero estar conduciendo y así estoy entretenido y que el sistema entre en acción en frenadas de emergencia, cambios de carril, detección de colisiones…

    • Enrique Dans - 11 julio 2016 - 10:00

      Piénsalo de otra manera: para adiestrar a los algoritmos de machine learning, es preciso contar con millones y millones de kilómetros con situaciones de todo tipo. Cada vez que una persona activa el Autopilot, está generando aprendizaje para el sistema, que mejora notablemente con el uso. En un cierto tiempo, no demasiado, los vehículos consiguen ser plenamente autónomos gracias a todos esos millones de kilómetros logados previamente. Y en el medio, se han salvado miles de vidas en todo el mundo, porque incluso en su versión actual, el sistema conduce mucho mejor que un humano y tiene menos accidentes.

      ¿Te parece mejor así?

      • Jose Antonio Garcia - 11 julio 2016 - 10:40

        Yo me apunto. Piloto de pruebas.
        ¿ A cuanto pagan?
        Sabiendo que es un trabajo peligroso que te estás jugando la vida.
        ??? a ver una cifra….
        ———————————————
        Leer a partir de aqui solo si no pagan
        ———————————————
        A ver que no, que parece que es…..
        ¿Gratis? ¿G R A T I S!!!!!
        Ya, para que Tesla me venda una beta al precio que me paga es bastante caradura, ¿no?

        Viva el modelo de vida por debajo del CI 86!!!!

        PS: Un pequeño paso para el hombre, pero un gran paso para la humanidad dueña de Tesla and cia.

        • Enrique Dans - 11 julio 2016 - 11:18

          Tu razonamiento sería muy acertado… salvo porque es completamente desacertado. Ni es un trabajo, ni te juegas la vida. Es un producto que adquieres y disfrutas, y muchísimo más seguro que uno en el que conduces tú todo él tiempo. Muchísimo más. Y además, que sigue mejorando con el tiempo, con cada actualización. Por tanto, no te hagas ilusiones: ni eres piloto de pruebas, ni te van a pagar. Eres simplemente un cliente que compra un coche impresionante y que circula más seguro. A pagar. O si no te convence, a no comprarlo…

          • Jose Antonio Garcia - 11 julio 2016 - 12:12

            Gracias por confirmar la hipótesis que no me atrevía sin datos a afirmar. Evidentemente no me hago ilusiones, etimológicamente hablando, no me engañan. La forma del Post en definitiva era para confirmar en donde nos movemos.

            . No estoy en contra de que el producto estéticamente sea o no bonito, e incluso podemos estar de acuerdo en que funcione bastante correctamente y puede ser disrruptivo.
            Déjeme parafrasear su linea argumental. ( quito: los juicios de valor: disfrutas, impresionante, más seguro)

            a) Producto que venden, ( que compras si quieres obviamente)
            b) Mejora con el tiempo. (Es la esencia de la AI, a más entrenamiento, menos errores.)

            No hay más en su argumentación. Es un sistema en pruebas que puede matar (luego se dirá que el radar, que la junta culata, etc) y el fabricante nos dice que no es autónomo. No hay más. Punto.

            Es lo que te venden, un sistema(Autopilot) que si falla para eso estás tú, para tomar la conducción.

            Los juicios de valor no hacen falta. El que quiera oir que oiga.

        • Krigan - 11 julio 2016 - 11:24

          El Autopilot está desactivado por defecto, lo activas si quieres. Es más seguro desde el primer momento, y cada vez será todavía más seguro.

  • #045
    Bertie - 11 julio 2016 - 11:37

    Y perdón por la pesadez, pero creo que la única razón por la que el autopiloto del Teslamóvil tiene menos accidentes es porque respeta los límites de velocidad y las normas de tráfico. Si los conductores humanos hiciesen lo propio, habría cero accidentes.

  • #046
    JOSE ANTONIO GAES - 11 julio 2016 - 11:42

    “Tan solo parcialmente atribuible a la conducción autónoma”. JA JA. Si algo parece claro en este caso es que el fallo es totalmente atribuible a la conducción autónoma. Bueno, y a esa tan “poco habitual combinación de factores” que es un simple juego de niños para la problemática naturaleza humana.

    Lo que ya no está tan claro es cuántos de esos impolutos millones de kilómetros recorridos en modo autónomo han sido interrumpidos, precisamente, en cuanto la cosa se ponía un poco complicada.

    Así que puede que los números canten, pero más como los pies de un santo que como Camarón de la Isla, y no me ha parecido ver las “estadísticas” con las que titulas esta entrada por ningún sitio.

    En cuanto a la estrategia, no se puede hablar con tanta alegría de “conducción autónoma” y al mismo tiempo “mantener la atención en la conducción”. Puede que sea una deformación profesional de los “conductores analógicos”, pero o conduces o no conduces. Me parece una quimera y un error pretender que una persona en modo “no conducción” pueda hacer frente de manera eficiente a una situación sobrevenida en las condiciones habituales de tráfico.

    Así que, por mucho que les pueda doler a algunos, deberíamos seguir hablando de “evolución”, como ha sido hasta ahora con mucho cuidado y pasito a pasito, y no de “disrupción” como tanto le interesa a los recién llegados.

  • #047
    jose luis portela - 11 julio 2016 - 12:40

    En EEUU ha muerto una persona por el piloto automático de Tesla
    El año pasado 42.642 personas muertas por ser ellas el piloto en el mismo país.

    Aún así hay gente que ve el vaso medio vacío….

    • Jose Antonio Garcia - 11 julio 2016 - 12:44

      La estadística es mejor aún:
      Muertos Vehiculos 100% autonomos: 0
      Kilómetros Recorridos 100% autónomos, adivine…

    • Bertie - 11 julio 2016 - 12:57

      Es una forma rara de hacer estadísticas… En EE.UU. hay 255 millones de vehículos matriculados, de los cuales 50.000 son Tesla Model S. Y tampoco sabemos las cifras totales de siniestralidad de este modelo, ni el % de tiempo que se conduce con el autopiloto conectado.

    • pepelu - 11 julio 2016 - 13:31

      Cuidado con las estadísitcas que las carga en diablo …

      El número total de coches vendidos por Tesla en todo el mundo es de alrededor de 130.000.

      El número de coches que hay registrados en EEUU es de 260.000.000.

      Por supuesto que la estadistica si comparas accidentes por coche registrado) sigue siendo favorable a Tesla. (1/130.000) vs (42.642/260000000) aproximadamente 20 veces mayor.. Para ser rigursos habría que saber cuantos kilometros se han recorrido en cada caso en modo de conduccón autónoma y cuantos en modo normal.

      Así que investigando un poco se llega a que muere una persona por cada 100 Millones de Millas recorridas

      https://en.wikipedia.org/wiki/List_of_motor_vehicle_deaths_in_U.S._by_year

      En el caso del Tesla con autopilot. Tesla declara que sus coches han recorrido con él 130 Millones de millas, por lo que el cálculo seguiría siendo favorable a Tesla, pero desde luego no en la proporción de 1 a 42.642 como decías.

      Lo malo para Tesla es que con tan pocas millas recorridas en comparación al resto de coches, si hay otra víctima, automáticamente pasaría a ser mas inseguro que los coches conducidos por “humanos”.

      Digamos que el vaso está en la mitad, y seguro que mejorará y mucho en el futuro, pero no pensemos que es tan “abismal”, la diferencia en seguridad de conducción.

      Disclaimer: Sólo he comparado pesonas muertas, no heridos, antes de que alguno empiece a comentarlo…

    • pepelu - 11 julio 2016 - 13:52

      Por cierto, en referencia al comentario de Enrique de :

      Y la estadística me da la razón radicalmente.

      El camino del progreso está lleno de víctimas, y en este caso, el camino de la conducción autónoma cuenta, sin ninguna duda, con más casos de personas salvadas de accidentes gracias a la tecnología que muertas en accidentes por su culpa. Revertir el razonamiento matemático y utilizarlo tendenciosamente para detener el progreso provocaría que muchos accidentes que podrían haber sido evitados no lo sean, y que sigamos creyéndonos falsamente más seguros cuando conducimos nosotros mismos, cuando la gran verdad es que cuanto más dejemos hacer a la máquina y menos toquemos nosotros, más seguros estaremos.

      Creo que afirmar que la conducción autónoma ha salvado mas vidas que las de los conductores humanos, es simplemente indemostrable. El que un cooche con Autopilot no haya tenido mas accidentes graves no quiere decir que un humano en la misma condición los hubiera provocado.

      Una cosa es estar convencido de que cada vez se irá mejorando la conducción autónoma, y otra distinta decir que hoy ya es superior sin datos comparativos.

      Creo que las estadísticas no te dan la “razón radicalmente” (aunque en el futuro seguro que lo harán).

    • Víctor M. - 11 julio 2016 - 13:56

      ¿Y no será porque hay muchísimos más conductores “típicos” que coches semi autónomos circulando? Es que tela con el manejo de las estadísticas según interese. Ya veremos qué ocurre cuando los coches autónomos sean mayoría o los mismos que los convencionales; ahí sí podrán hacerse comparaciones adecuadas y quizás veamos que los tontos y torpes humanos no lo somos tanto. Muchos hablan aqui como si fueran máquinas, despreciaran al ser humano y trabajaran en su sustitución. Qué fanatismo tecnológico.

  • #053
    Bertie - 11 julio 2016 - 14:43

    Y a todo esto, las capacidades del autopiloto son más bien limitadas. Esta es la descripción oficial de sus funciones:

    “The Tesla Autopilot system allows the car to keep itself in a lane, maintain speed and operate for a limited time without a driver doing the steering.”

    Pues si sólo hace eso, ni IA, ni machine learning, ni leches; eso es un algoritmo determinista y punto. Eso está lejísimos de ser autónomo.

    Para lo poco que hace y haberse pegado ya un castañazo… La gente parece que piensa que es como Kitt, pero nada de eso.

    • Jose Antonio Garcia - 11 julio 2016 - 15:49

      Bertie
      Gracias por tu info

      Vaya desilusión, todo una campaña de marketing, que vergüenza

      Vaya timo de Tesla…

  • #055
    Jose Antonio Garcia - 11 julio 2016 - 15:44

    ¿podemos tener acceso a datos reales de tráfico? ¿no?
    propuesta:
    TABLA DATOS ACCIDENTES

    Una tabla p,ej. en EEUU, con km recorridos, accidentes con

    COLUMNAS

    A. Km Recorridos
    B. Accidentes
    C Accidentes con victimas mortales
    D. Fuente Datos.

    FILAS:

    1) Vehiculos autónomos 100 % ( vacía no hay)
    2) Vehiculos Semiautónomos, sin intervenir el conductor nunca.
    3) Vehiculos con Conductor cumpliendo el código ( accidente puro)
    4) Vehículo con Conductor que no cumple la norma.
    (accidente negligente)

    SI NO PODEMOS, Y SOMOS UNOS CHARLAS

    Seamos medianamente honestos,
    no hay estadísticas verificables
    Los datos que manejais son de parte interesada.
    Y mientras esa parte tenga intereses comerciales,
    el que les de la razón
    SE DESLEGITIMA A SI MISMO
    y dice muy poquito de su credibilidad y seriedad
    Roma traditoribus non praemiat
    PS: Me alegraría equivocarme y que hubiera datos.

  • #056
    jose luis portela - 11 julio 2016 - 18:20

    “La vida es el arte de sacar conclusiones suficientes a partir de datos insuficientes”

    Samuel Butler

    En este caso, aunque estoy de acuerdo que habría que hacer datos muy serios, la tecnología siempre nos ha demostrado que para determinados tipos de actividades, se equivoca muchas veces menos que el cerebro humano.

    • Jose Antonio Garcia - 11 julio 2016 - 20:10

      Honra usted al singual maestro Don Joaquin Rodriguez, según cuentan genial en su arte, también recordado por sus aciagas tardes en la noble e histórica capital del Campo de Calatrava, y nos muestra su devoción al sostenella y no enmendalla , aseméjese al mito por el que es conocido el maestro. De sabios es reconocer, las limitaciones propias a nuestro ser, y de simples espíritus perserverar en el error.

  • #058
    Juan Ignacio - 13 julio 2016 - 23:27

    Hola Enrique, soy un seguidor tuyo, te esuche en varios foros (en persona). Quería compartir contigo un artículo que acabo de escribir sobre el coche autónomo en España. Repasa brevemente como ocurrió la sustitución del caballo por el motor a combustión y a partir de allí proyecto como seremos sustituidos los humanos por los driverless cars. Te puede interesar. Te dejo el enlace Na8 Blog
    Saludos

Dejar un Comentario

Los comentarios están cerrados