Data massaging

ImagenVía Slashdot, llego al caso de Luk van Parijs, un profesor de Biología del MIT que ha sido expulsado de la Universidad por utilizar datos falseados en sus papers publicados, en borradores en revisión y en peticiones de fondos. La situación, con todo lo dura que parece, revela en realidad algo mucho más grave: la crisis de todo un sistema académico basado en una máxima, el denominado «publish or perish».

El caso de Luk no es único, ni el primero. Jan Hendrik Schön, un investigador de los Laboratorios Bell, ya sembró dudas más que razonables en el proceso. Luk es, ahora, el caso más conocido, pero pongo la mano en el fuego porque no es ni mucho menos único, y no lo digo porque lo haya visto en mi entorno cercano ni porque haya necesitado hacerlo yo en ningún momento de mi carrera, gracias a dios. Pero me jugaría algo a que es algo mucho más habitual de lo que parece, y que las manifestaciones actuales se deben simplemente a un incremento de la transparencia basado, entre otras cosas, en una difusión mayor y más rápida de la información gracias a Internet. Es pura lógica. En el sistema académico actual, las publicaciones son la moneda de cambio que permite a una persona, desde el momento de su admisión como assistant professor, ir avanzando por la llamada tenure track, pasar a associate professor, hasta lograr la consecución de su plaza en propiedad. Si ese profesor no alcanza la tenure, debe, al cabo de un tiempo que como media suele estar en unos siete años, abandonar la uniersidad e intentarlo en otro sitio, habitualmente de un rango menor. Todo, la tenure, el prestigio, los fondos de investigación, la vida que tras siete años ya tienes montada en un sitio determinado, depende de que los datos cuadren y tu publicación sea aceptada. Y la decisión la toman unos evaluadores, dos o tres reviewers, que si no ven algo verdaderamente sospechoso se limitarán a comprobar la veracidad y lógica de tus argumentos, pero en raras ocasiones pedirán el acceso a los datos originales.

Hablo de opinión y no de pruebas, pero a mí me parece que la presión resulta demasiado fuerte para cualquier estándar. El sistema obtiene, básicamente, lo que siembra. En algunos casos, se da lugar a publicaciones completamente irrelevantes y vacías, sin ningún tipo de trascendencia, simplemente por el hecho de apuntarse un punto más. En otros, los peores, del data cleaning, transformaciones de todo tipo y eliminación de outliers (puntos que escapan a la lógica y a la normalidad de una distribución), se pasa al puro data massaging: si los datos no cuadran, se los tortura hasta que lo hagan. Los factores en juego son excesivos, y los investigadores, seres humanos. Hablamos de muchas personas, de muchas culturas diferentes, y de estándares morales muy variados. No hay un «juramento hipocrático del investigador», y posiblemente, dados los temas en juego, tampoco funcionaría.

El proceso, simplemente, está podrido, y mucho me temo que Luk no es más que una muestra de un iceberg más grande. Y debería funcionar como una auténtica llamada de atención ante un sistema no orientado a producir la mejor investigación o la más útil, sino a maximizar el volumen del output sin otras consideraciones adicionales. Las universidades, incluidas esas modélicas instituciones americanas cubiertas de hiedra, necesitan un baño de realidad empresarial y de sistemas de control e incentivos más adecuados. No todo es malo, pero sí se necesitan ajustes en el sistema. Si Luk se va, será porque ha llevado el tema demasiado lejos, porque ha entrado en una espiral de falsedades que llegó a ser imposible de ocultar. Pero en el medio, mucho me temo que, aunque en el mundo académico suponga cuestionar lo incuestionable, hay mucha más cera que la que arde. Más que cera, aceite. Aceite de masaje.

NOTA: Gracias, Antonio, por el generador de pizarras de Einstein

8 comentarios

  • #001
    ManWare - 31 octubre 2005 - 23:30

    Según un reciente estudio de una conocida empresa de estadisticas de New York, el 64.9% de las públicaciones en Internet tienen datos que podrian estar totalmente errados, del restante solo el 40% es obra calificada y profesional, de ese 40% del resto de 64.9% se vuelve a obtener que solo el 64.9% son profesionales que publican datos correctos.

    Este comentario no se a que porcentaje obedece y nadie me obliga a decir nada. =)

    (y bueno que quieres Enrique, estaba aburrido)

  • #002
    Ergodic - 1 noviembre 2005 - 08:37

    La necesidad de resultados inmediatos típicos de la empresa podría hacer bastante bien a la investigación universitaria. Sin embargo este extraño, poco estimulado, sistema, junto con el Ejercito de los E.E.U.U son de los pocos que mantienen ideas aparentemente absurdas durante años, para despues descubrir cosas que de otro modo no hubiese sido posible encontrar.

  • #003
    deif - 1 noviembre 2005 - 09:24

    Joder Enrique, me ha costado bastante seguir lo que has escrito por la contínua introducción de palabras escritas en inglés.

    No digo que haya veces en que un concepto se exprese mejor con una sola palabra de otro idioma que en castellano, pero en mi modesta opinión creo que has abusado de ellos en situaciones que no son necesarias (en realidad casi todos).

  • #004
    Enrique Dans - 1 noviembre 2005 - 10:53

    Lo siento, deif… ten en cuenta que es mi órbita profesional, y en ella todos esos términos se utilizan sin excepción en inglés. Puedo traducirlos, sí, pero no me encuentro cómodo con ellos. Para mí es crucial encontrarme cómodo ante mis propios textos, reconocerlos como míos, verdaderamente escribo como hablo, y (me dicen que / intento que) eso me proporcione una cercanía al lector. En este caso, dado que el mundo académico «lo aprendí» en inglés y continúa estando en inglés aunque ahora viva en Madrid, puede que el resultado sea un tanto hiperabundante. Perdón, anyway ;-).

  • #005
    RPT - 1 noviembre 2005 - 11:22

    «necesitan un baño de realidad empresarial y de sistemas de control e incentivos más adecuados» No sé exactamente a qué te refieres con esta frase. Pero si por baño de realidad empresarial entendemos que las investigaciones han de estar supeditadas al Dios EFICIENCIA, económica no faltaba más, mal vamos. Cuando la ciencia sigue la senda que marca la empresa, esta se encauza hacia investigaciones donde haya rendiminetos económicos y aplicaciones en el corto plazo, mientras que investigaciones en ciencia básica que son fundamentales en el largo plazo carecen de interés.

  • #006
    Enrique Dans - 1 noviembre 2005 - 11:44

    No, líbreme dios… me refiero a la gestión de la carrera investigadora, del personal investigador, etc.

  • #007
    santiago iñiguez de onzoño, de - 1 noviembre 2005 - 12:52

    Comparto alguna de las críticas que formula Enrique, acerca de los resultados indeseados o externalidades del sistema de promoción profesoral («tenure track») en Estados Unidos, basado fundamentalmente en la publicación de artículos en revistas académicas de acuerdo con unos plazos muy exigentes. Además del incentivo al plagio -posiblemente el mayor «delito» en el mundo académico- también se promociona la publicación de investigaciones «a medio hacer», o -como comenta Enrique- en algunos casos irrelevantes.

    Al mismo tiempo, hay que reconocer que las universidades norteamericanas son las pioneras en investigación.

    Interesante cuestión para el debate. Agradezco a Enrique que lo haya suscitado.

  • #008
    nettizen - 1 noviembre 2005 - 13:12

    Esta situación viene de lejos. La «reestructuración» geopolítica de los ochenta supuso una quiebra del «tinglao» militar-industrial-universitario norteamericano y eso supuso, literalmente, cierre de muchas líneas de investigación y de sus correspondientes centros de investigación. Afortunadamente, Clinton (bueno Gore) tuvo la ocurrencia de la «cosa» digital y eso generó expectativas novedosas pero sujetas a una máxima implacable, la «inseguridad» del sistema de investigación. A partir de aquí, el resto de acontecimientos! Y por supuesto una competencia «brutal» por la obtención de recursos, de reconocimiento, de poder, blablabla que está generando efectos inesperados en la institución científica.

    ciao!

Dejar un Comentario

Los comentarios están cerrados