Enrique Dans

Fantástico, bien documentado y largo artículo en The Verge, «The rating game«, sobre los sistemas de valoración utilizados habitualmente por plataformas de matching entre oferta y demanda como Airbnb, Uber, TaskRabbit, Postmates, y cada vez más compañías. Un análisis interesante de cómo ese tipo de sistemas convierten al cliente en responsable de calidad en la prestación del servicio, permitiendo a las compañías crecer de una manera mucho más rápida que si tuviesen que contratar y mantener un ejército de supervisores, y de los problemas que puede generar la aplicación de estos mecanismos en la gestión de unos prestadores que acaban deviniendo en una relación muy cercana al servilismo.

Llevo veintiséis años trabajando bajo ese sistema, y soy un convencido de que en su aplicación está uno de los grandes factores que diferencian a la empresa en la que trabajo, IE Business School, de muchas otras universidades y escuelas de negocio que conozco. En el desempeño del trabajo como profesor en IE Business School, la evaluación de los alumnos juega un papel ya no fundamental, sino directamente central: menos de cuatro en una escala de cinco puede implicar desde que tu director de área te llame preocupado para preguntarte qué pasó en ese grupo en concreto, hasta determinar cuestiones como el precio por sesión en cursos in-company, la decisión de exigirle que acuda a un curso completo con otro profesor, o eventualmente, la de ofrecer o no a una persona continuidad en el claustro. En ese sentido, IE Business School es un sistema matricial, en el que los directores de programa piden profesores a los directores de área, pero pueden rechazar las decisiones de asignación en función de, sobre todo, un criterio fundamental: las valoraciones de los alumnos. Un profesor con encuestas consistentemente malas, sencillamente, no tiene sitio en el sistema. Como suelo decir habitualmente… «not your average university».

Por supuesto, tenemos muchos más años de experiencia en la gestión de ese sistema de rating de la que pueden tener plataformas con, como mucho, cuatro años de antigüedad. Y en efecto, los problemas citados en el artículo existen, aunque creo firmemente que son susceptibles de ser corregidos. De hecho, sigo siendo un firme creyente en el sistema, y creo que los principales problemas que ha podido generar se ven compensados de manera muy amplia por las mejoras que supone su aplicación. Por supuesto, estamos hablando de un sitio en el que los que reciben la valoración no son precisamente trabajadores fáciles de sustituir, no es un simple «que pase el siguiente». Teniendo por supuesto todo el respeto del mundo por los conductores de vehículos o por los encargados de hacer recados para un tercero, no es lo mismo sustituir a uno de ellos que tratar de encontrar reemplazo para un profesor de escuela de negocios en la que los alumnos mantienen un elevadísimo nivel de exigencia – razonable, por otro lado, si simplemente miran el precio por minuto de sesión. Y mi experiencia no se limita a la de ser profesor: en mis años como director de área era el responsable precisamente de notificar a mis profesores los resultados de sus encuestas, de diseñar medidas correctoras o de tomar decisiones sobre su asignación a otros cursos.

La respuesta a los problemas de este tipo de sistemas está en la gestión y en la analítica. No es lo mismo una puntuación de 4 sobre 5 en un grupo con un nivel de satisfacción general fantástico frente a uno en el que la dinámica ha devenido en un hipercriticismo desmesurado. La dinámica de una clase depende de muchísimos factores, entre los que están, por ejemplo, las características de los alumnos, la combinación de profesores asignados en un período determinado, o simplemente el transcurrir del curso a lo largo del año: alumnos inicialmente más tolerantes suelen tornarse en jueces más severos a medida que pasan los meses. De ahí que la normalización sea un proceso fundamental en la toma de decisiones: si bien todos somos informados de nuestra puntuación tal y como emerge de la media de los alumnos y sin ningún tipo de procesamiento o de «cocina» que fuese susceptible de desvirtuarla, disponemos también de medidas que nos permiten apreciar la relevancia real de la puntuación. Así, un 4 en un grupo en el que esa puntuación está sensiblemente por debajo de la media del resto de los profesores (no vemos las puntuaciones de nuestros compañeros, pero sí su media) es muy diferente de otro 4 en un grupo en el que estás marcadamente por encima, y eso afecta, entre otras cosas, tu propia moral.

El feedback, por otro lado, es completamente detallado. El profesor recibe sus puntuaciones procesadas con media y dispersión, y el listado completo de comentarios sin ningún tipo de edición. En ocasiones resulta cruel, como director de área pasé en ocasiones por momentos especialmente delicados, pero parece funcionar adecuadamente así, y ser muy útil para un nivel de corrección de matices que únicamente el propio profesor es capaz de entender y controlar.

El control del sistema es fundamental, asimismo, para evitar otro problema comentado en el artículo de The Verge: la tendencia a una especie de «servilismo». De nuevo, no es lo mismo conducir un vehículo o hacer recados que impartir clase con un elevado nivel de exigencia, pero hace ya muchos años que sabemos que un profesor encantador, divertido, que impone un nivel de exigencia mínimo y hace la vida fácil a sus alumnos podría no ser precisamente lo mejor para su formación. El estilo «Ramón el simpaticón», que obtiene valoraciones elevadas a costa de un menor rigor o exigencia académica es, evidentemente, un modelo a evitar, y la forma de hacerlo es diseñando las preguntas de la encuesta que se pasa a los alumnos de la manera adecuada, tratando de aislar los diferentes factores a valorar. Otra posibilidad que, lógicamente, no existe en las plataformas para tareas sencillas: mientras uno de nuestros alumnos puede estar dispuesto a rellenar una encuesta razonablemente prolija en detalles y que le lleva unos cinco minutos como media y un nivel de introspección razonablemente elevado, el usuario de un servicio de transporte o de un servicio similar no pasa de unos segundos y de un clic con el dedo, y tratar de insistir en más detalles supone perder la oportunidad de obtener una valoración.

En cualquier caso, la clave parece estar en la gestión del sistema: las puntuaciones no son el fin, sino el medio, y su procesamiento debe ser sensible a multitud de factores, pero sin caer en la arbitrariedad. Al final, el éxito radica en los años de experiencia, en la consistencia y en la conciencia clara de los objetivos a alcanzar. Por supuesto, no puedo afirmar que el sistema sea perfecto, pero sí que tiende a identificar y aislar la mayor parte de los problemas habituales, y que tanto profesores como alumnos son conocedores de su importancia.

A la hora de valorar este tipo de sistemas en plataformas como las citadas en el artículo, resulta fundamental entender que hablamos de sistemas que tratan de capturar una realidad compleja dentro de un esquema sencillo que facilite su obtención. Pero eso, obviamente, no quiere decir que el procesamiento deba ser igual de sencillo. En último término, no es lo mismo recibir cinco estrellas de un cliente que consistentemente puntúa con cinco estrellas todos los servicios, que recibirlas de uno que en un número elevado de ocasiones contesta la encuesta con tres o con dos estrellas. Ambos casos deben ser sujetos a una normalización, y tomados, lógicamente, con su correspondiente grano de sal. Sin perder objetividad, rigor ni valor como realimentación de la actividad, el sistema debe corregir desviaciones ajenas al propio prestador del servicio, que podría desmotivarse completamente si termina por tener la impresión que los factores que finalmente inciden en su valoración están completamente fuera de su control.

Pero lo fundamental persiste: como sistema de valoración y control, parece infinitamente mejor que ninguna de sus alternativas, y adecuadamente gestionado, incide en un servicio de mejor calidad y en una satisfacción más elevada. Cada vez más, vivimos en un mundo en que este tipo de sistemas están tomando un protagonismo cada vez más elevado: sales del control de seguridad del aeropuerto o de cada vez más tiendas, y te encuentras una botonera con colores y caritas que te piden una valoración de la atención recibida, que realizas sin pensarlo mucho en tu camino hacia la salida. Sin duda, algo que vamos a encontrarnos más y más: si su compañía no utiliza este tipo de sistemas, vaya planteándose si debería hacerlo, y qué podría obtener de ello. Pero como en tantas otras cuestiones, el sistema no es el problema ni la virtud: el diablo está en los detalles.

This article is also available in English in my Medium page, “When it comes to star ratings, the devil is in the detail«