La transparencia de Kickstarter a la hora de rendir cuentas sobre sus proyectos está facilitando su uso para modelos predictivos de diversos tipos que bien merecen una reflexión.
Hace unos meses, mis amigos de BigML plantearon un modelo de machine learning basado en 17.000 campañas que mostraba la relevancia de factores como el número de personas que aportaban donaciones y la magnitud del objetivo fijado como umbral (las campañas en Kickstarter solo se consideran exitosas cuando se supera el umbral fijado como objetivo por los emprendedores, momento a partir del cual se desembolsan las donaciones). Ahora, tres investigadores de la École Polytechnique Fédérale de Lausanne han desarrollado un modelo capaz de predecir con un razonable nivel de confianza (76%) qué proyectos en Kickstarter van a alcanzar su objetivo y cuáles no, tan solo examinando las primeras cuatro horas de su evolución. El porcentaje de proyectos que alcanzan su objetivo en Kickstarter está actualmente en torno al 44%, de manera que poder contar con una predicción en los primeros momentos del lanzamiento puede resultar de una gran ayuda a la hora de gestionar posibles acciones relacionadas.
Las conclusiones son muy interesantes, fundamentalmente por lo poco sorprendentes, pero también por su más que posible aplicación a otros ámbitos diferentes a los del crowdfunding. Una de las variables que el segundo estudio plantea es la actividad en redes sociales, específicamente las menciones en Twitter. Podríamos posiblemente entrar en discusión sobre si es esa o no la variable adecuada – mi opinión es que no ofrece un panorama completo, y que sería importante valorar las menciones en blogs y medios, que en último término tienen una gran influencia a la hora de generar confianza y atraer donantes al proyecto – pero deja meridianamente claro un hecho: la actividad en redes sociales tiene en el mundo actual una importancia de primer nivel en el éxito de prácticamente cualquier iniciativa – algo que sabemos, de hecho, todos los que habitualmente generamos contenido y tratamos de evaluar su impacto. ¿Puede salvarse una campaña en Kickstarter si recibe una mención positiva en una página de popularidad elevada cuando ya está iniciada? De hecho, existen claramente fenómenos de retroalimentación: en muchas ocasiones, y particularmente en las campañas más exitosas, las menciones surgen como resultado del éxito porque la noticia es la fuerte tracción que alcanza el proyecto, lo que da origen a un clarísimo efecto de arrastre o bandwagon effect.
La causalidad es, como sabemos todos los que trabajamos en investigación, una relación muy traicionera. No es completamente evidente si las menciones en redes sociales conducen al éxito, o si el éxito conduce a las menciones en redes sociales, pero sin duda existe una relación entre ambas. Lo que me lleva a plantear, dejando al margen el tema del crowdsourcing, cuántas empresas son capaces de aplicar modelos predictivos de este tipo a sus lanzamientos de productos o servicios. En realidad, la mayor parte de las compañías que conozco tienden a hacer un análisis post-mortem de sus proyectos: con el evento o la campaña terminados, se recopilan algunos datos con la esperanza de aprender algo de ellos, pero poco más. La capacidad de actuación sobre variables relacionadas con el proyecto suele ser escasa, cuando no directamente nula.
En un entorno caracterizado por lo que hemos dado en llamar «tiempo real», la inteligencia de negocio correspondiente suele darse, por lo general, todavía «en diferido». La latencia en el análisis de los datos, bien debida al tiempo necesario para recolectar y almacenar los datos, al requerido para analizarlos y transformarlos en información, o al utilizado para reaccionar a esa información y tomar decisiones, provoca retrasos que pueden en muchas ocasiones hacer imposible una corrección del curso de las acciones.
Resulta llamativo que en un pequeño proyecto de Kickstarter, sus participantes puedan recopilar muchas de las variables necesarias para predecir el éxito a las pocas horas de iniciarse la actividad (ritmo de donación, cantidades donadas, éxito relativo de cada uno de los incentivos, menciones en redes sociales, etc.) y en cambio, empresas grandes con mucho más medios no sean capaces de modelizar y plantear una analítica semejante. En el caso de las redes sociales, las empresas oscilan entre las que no les dan la más mínima importancia (salvo cuando se trata de una crisis comunicativa) y las que las consideran un fin en sí mismo (en modo «¡¡bieeeen, hemos sido trending topic!!) pero que no es vinculado con los objetivos reales de la acción. En ocasiones, la falta de análisis roza lo patético, como cuando se intenta presentar como un éxito el tener muchas apariciones en redes sociales pero basta un somero análisis de las mismas para detectar que se trataban mayoritariamente de menciones con componentes marcadamente negativos.
En este sentido, Kickstarter puede servir como una fuente de inspiración: ¿entendemos el entorno lo suficientemente bien como para poder construir modelos predictivos de ese tipo, accionables en tiempo real en nuestra compañía? Si la respuesta es no… ya sabe: lea más.
(This post is also available in English in my Medium page, “Learning from Kickstarter and predictive models«)
Los 3 primeros días son cruciales, porque Kickstarter también aporta visibilidad durante ese tiempo como proyecto recién lanzado, pero para tener altas posibilidades de éxito tras 4 horas de campaña es necesaria mucha planificación en la comunicación y mucho trabajo previo en las redes sociales y los grupos que dan soporte al proyecto.
También es interesante la información que se da al final del enlace respecto a la mejora del porcentaje de éxito de los proyectos recientes (48% vs 44%). Habla de la popularidad de la plataforma a nivel mundial, pero también de la mayor preparación de los proyectos que se presentan.
Genial lectura e interesantes reflexiones.
Sin ánimo de desviar la atención sobre el valor de Kickstarter, quería preguntarte Enrique si conoces Quirky como un nuevo modelo de creación y distribución colectiva, y en tal caso, que opinión te parece un proyecto como el suyo, ya que a mi me ha parecido de lo más innovador y hasta revolucionario de los últimos años.
Un saludo
La dificultad de este tipo de modelos radica en encontrar las causas que provocan una mejora en el resultado y no simplemente un modelo descriptivo, es decir, encontrar las palancas que hagan mejorar los resultados de un lanzamiento de un producto, de evitar la fuga de los clientes o, en este caso, de mejorar el éxito de la campaña de crowdfunding o de crowdsourcing.
En el caso de twitter que comentas no es una variable accionable en el momento del lanzamiento de la campaña, sino que se debe preparar antes del lanzamiento. Bajo mi opinión, si una campaña tiene más retweets es porque la comunidad asociada a la campaña es mayor, por lo que ya está creada antes del lanzamiento de la acción en Kickstarter. Por ejemplo, el proyecto de Verónica Mars consiguió el primer día 2,3 millones de dólares pero que tenía una comunidad de fans creada en torno a la serie y a sus participantes que hizo que las donaciones se desbordasen.
De echo, en el documento del modelo comentan: “For now, our predictors only output a probability of success, but act as a black box: no reason for the probable success/failure is given. While this prediction itself can already be helpful to both campaign creators and backers, as discussed in the introduction, the next step would be to give them the specific characteristics of the campaign that could be improved”. Es decir, han utilizado un modelo caja negra (SVM) para predecir el éxito de una campaña de crowdfunding, pero en el modelo no se ven los efectos que provocan el éxito, ni cuáles son las palancas a accionar para aumentar dicho éxito.
El nivel de confianza es una cosa y el accuracy o porcentaje de acierto es otra.
El nivel de confianza te dice la posibilidad de que ese porcentaje de acierto (u otra medida) no se deba al azar. Es como decir, hemos obtenido EL A% de acierto y estamos C% seguros de que ese resultado no se debe al azar.
Un estudio experimental con un 76% de nivel de confianza es un churro, no es valido, lo normal es trabajar con niveles de confianza del 95% o del 99%.
De todas formas ese es un dato no aparece en el post, ni en el paper. Ese nivel de confianza que nada tiene que ver con el accuracy, se calcularía a partir de los tamaños de la muestra, los % usados para entrenamiento, validación y test, el número de repeticiones, la estrategia de particionado (cross-validación estratificada, sin estratificar, particiones independientes …) etc
En el paper dicen que han obtenido un 76% de porcentaje de acierto.
Tener la oportunidad de visualizar la creacion y el lanzamiento de un producto como una prueba, es lo que cuesta de asimilar.
Porque si están diseñando el concepto de producto y lo piensas como en marketing tradicional, estas pensando a que tipo de cliente quieres llegar. Sin embargo con un entorno de pruebas, donde la inversion en la mejora del producto o el cambio rápido del mismo, se produce de manera progresiva a medida que se ven los resultados y el usuario que es cliente,’ también lo va definiendo. Si se piensa fríamente, tener la opción de saber el exito o fracaso del lanzamiento de un producto ahorra muchísimo tiempo y dinero, lo que quizás te obliga a invertir tu tiempo en tener varias opciones testeables.
Que variables? Interesantísimo…. :-)
Interesantísimo artículo y datos aportados!!
Creo que siendo un fenómeno tan nuevo aun, por ya algunos años que lleve rodando, que implica transformaciones no sólo en la forma de financiar, sino en la estructuración de trabajo desde la planificación del proyecto y el producto a desarrollar, la confección del presupuesto orientativo incluyendo horquillas de topes a lograr -el mínimo, y a continuación un óptimo, el mejor ejemplo que hace uso de ello de forma visible y consciente es Goteo.org-, la comunicación, el tejido de redes, la forma de producir,… Es tan radicalmente nuevo y destructor y sustitutor de algunos antiguos paradigmas, que es posible, lo digo más desde la intuición, que las variables pueden ser un poco más «bailonas» y con comportamientos raros.
Lo que sí que en algunos casos, al menos entre algunos que estamos en el sector cultural hacemos, es evaluar antes de lanzar la campaña qué redes y cómo son calitativamente estas redes tiene el equipo que lanzará un equipo de crowdfunding, y cuanto valor aporta (calidad, qué necesidades o deseos cubre,…), e incluso si de casualidad podría ser candidato a hacer «hype» por lo disruptivo.
Normalmente estos factores también influencian mucho en que un proyecto sea exitoso, aunque no sea un seguro. No es lo mismo un grupo de teatro desconocido que proponen una obra extrañísima de los años 20, sin redes de apoyo que ni incluyen «fans» o público fidelizado, ni instituciones, ni influyentes en su sector, que una compañía de teatro, aunque joven y pequeña, ya con un grupo de público muy fiel aunque pequeño y un crítico de teatro evangelizador -lo que comentabas de si participaba en este proceso un medio muy influyente.
Pero como bien comentas, existen tantas variables, que a veces piensas que un proyecto va alcanzar la cota mínima, que ha alcanzado los míticos 3 primeros días fatídicos de campaña con una buena cota de ingreso de mecenas y de difusión, y al final se apaga y no llega. En mi opinión, el crowdfunding no sería posible sin la comunicación y todo lo que comporta establecer redes de confianza con un «crowd». Casi que aparecerá el «marketing del crowdfunding» cuando se hagan más estudios y se determinen mejores datos, perfilando técnicas.
Personalmente, me gustaría participar en alguna investigación sobre el tema :)-perdón por mi osadía.