El Blog de Enrique Dans

Big Data: una pequeña introducción

Escrito a las 2:17 pm
40

Llevo ya un cierto tiempo recopilando información sobre Big data e introduciendo nociones sobre el tema en algunos de mis cursos, pero hoy mientras preparaba una conferencia me he dado cuenta de que era un tema que aún no habíamos mencionado en la página, a pesar de ser una de las tendencias más señaladas actualmente en la industria.

Por Big data nos referimos exactamente a lo que su propio nombre indica: al tratamiento y análisis de enormes repositorios de datos, tan desproporcionadamente grandes que resulta imposible tratarlos con las herramientas de bases de datos y analíticas convencionales. La tendencia se encuadra en un entorno que no nos suena para nada extraño: la proliferación de páginas web, aplicaciones de imagen y vídeo, redes sociales, dispositivos móviles, apps, sensores, internet de las cosas, etc. capaces de generar, según IBM, más de 2.5 quintillones de bytes al día, hasta el punto de que el 90% de los datos del mundo han sido creados durante los últimos dos años. Hablamos de un entorno absolutamente relevante para muchos aspectos, desde el análisis de fenómenos naturales como el clima o de datos sismográficos, hasta entornos como salud, seguridad o, por supuesto, el ámbito empresarial. Y es precisamente en ese ámbito donde las empresas desarrollan su actividad donde está surgiendo un interés que convierte a Big data en algo así como “the next buzzword”, la palabra que sin duda escucharemos viniendo de todas partes: vendedores de tecnología, de herramientas, consultores, etc. En un momento en que la mayoría de los directivos nunca se han sentado delante de una simple página de Google Analytics y se sorprenden poderosamente cuando ven lo que es capaz de hacer, llega un panorama de herramientas diseñadas para que cosas inmensamente más grandes y complejas puedan tener sentido. Tenle miedo, mucho miedo.

¿Qué hay exactamente detrás del buzzword? Básicamente, la evidencia de que las herramientas de análisis no llegan para poder convertir en información útil para la gestión empresarial los datos generados. Si tu empresa no tiene un problema con la analítica de datos, es simplemente porque no está donde tiene que estar o no sabe cómo obtener información del entorno: en cuanto unimos a la operativa tradicional y a las transacciones cuestiones como una cada vez más intensa interacción bidireccional con los clientes y el movimiento de analítica web que generan las redes sociales de todo tipo, nos encontramos un panorama en el que no estar supone de partida una desventaja importante con respecto a quienes sí están. Se trata, simplemente, de que operar en el entorno con mayor capacidad de generación de datos de la historia conlleva la adaptación de herramientas y procesos. Bases de datos no estructuradas, no convencionales, que pueden alcanzar petabytes, exabytes o zetabytes, y que requieren tratamientos específicos por sus necesidades tanto de almacenamiento como de procesamiento o visualización.

Big data fue, por ejemplo, la estrella en el último Oracle OpenWorld: el posicionamiento adoptado es el de ofrecer máquinas enormes con capacidades descomunales, procesamiento multiparalelo, análisis visual sin límites, tratamiento de datos heterogéneos, etc. Desarrollos como Exadata y adquisiciones como Endeca soportan una oferta basada en el pensar a lo grande, que algunos no han dudado en discutir: frente a esa aproximación, la realidad es que algunas de las compañías más centradas en el tema, como Google, Yahoo! o Facebook o la práctica totalidad de las startups no utilizan herramientas de Oracle y optan, en su lugar, por una aproximación basada en lo distribuido, en la nube y en el código abierto. De código abierto son Hadoop, un framework sumamente popular en este campo que permite a las aplicaciones trabajar con enormes repositorios de datos y miles de nodos, creado originalmente por Doug Cutting (que le dio el mismo nombre que tenía el elefante de juguete de su hijo) e inspirado en herramientas de Google como MapReduce o Google File System, o NoSQL, sistemas de bases de datos no relacionales necesarios para albergar y procesar la enorme complejidad de datos de todo tipo generados, y que en muchos casos no siguen la lógica de garantías ACID (atomicity, consistency, isolation, durability) característica de las bases de datos convencionales.

En el futuro: un panorama de adopción cada vez mayor, y muchos, muchos interrogantes. Implicaciones de cara a los usuarios y su privacidad, o a las empresas y la fiabilidad o potencialidad real de los resultados obtenidos: como dice el MIT Technology Review, grandes responsabilidades. Por el momento, una cosa es segura en Big data: prepara tus oídos para escuchar el término.

25 trackbacks

[...] es un nombre que vas a ver por muchos sitios en los próximos tiempos, al hilo del fenómeno Big data. Su logo es ese elefante amarillo, el juguete favorito del hijo de su creador original, Doug [...]

[...] origen que habitualmente se cita para el análisis de Big data como tendencia es la intersección entre las tecnologías CRM, que permiten almacenar toda la [...]

[...] más me está llamando la atención del análisis de la tendencia que está suponiendo el fenómeno Big data en los estamentos empresariales: la enorme dificultad para entenderlo sin bajar hasta la [...]

[...] varias definiciones de Big Data, por ejemplo Enrique Dans dice: “se llama al tratamiento y análisis de enormes repositorios de datos, tan [...]

[...] en su entorno puede ver mermada su capacidad competitiva. Pero como indica el profesor Enrique Dans en su blog, ante un panorama de adopción cada vez mayor de esta tecnología se plantean muchos interrogantes [...]

[...] por ello que una de las tendencias de futuro en el mundo de la tecnología es lo que se llama Big Data, y que hace referencia al tratamiento y análisis de cantidades de datos descomunales que exceden [...]

[...] tan grande que las técnicas analíticas tradicionales no sirven. El profesor Enrique Dans tiene un post en su blog donde explica brevemente la idea, pero es fácil entenderlo si tenemos en cuenta el volumen de [...]

[...] y carecemos de teorías para analizarlas”, explicaba José Luis Vicente al hablar del ‘Big Data’. Pero hacer periodismo de datos no significa publicar todos los disponibles y pone de ejemplo el caso [...]

[...] riesgo de una privatización “disimulada”. El Big Data que empiezan ya a recoger nuestras ciudades –gracias a una creciente apuesta institucional- puede [...]

[...] os dejamos uno de los videos: Python in Big Data with an overview of NumPy & SciPy (Python en Big Data con un vistazo a Numpy y Scipy) por Travis Oliphant (creador de [...]

[...] risco de uma privatização “dissimulada”. O Big Data que nossas cidades já começam a reunir – graças a uma crescente aposta institucional – [...]

[...] Big Data al procesamiento y análisis de enormes volúmenes de datos que no pueden tratarse con las [...]

[...] volumen creciente de datos (Big Data), en la actualidad, requiere nuevas tecnologías para el procesamiento paralelo masivo, [...]

[...] call Big Data to process and analyze huge volumes of data can not be treated with the tools for managing [...]

[...] dispone hoy día gracias a Internet, en este punto el término a tener en cuenta es “Big Data”, introducción y perspectiva en el blog de Enrique Dans, por poner un [...]

[...] lo indicó el informe McKingsey, y recogió luego Enrique Dans, Big Data es sin duda un cambio hacia la innovación en el manejo del oro de nuestros tiempos: la [...]

[...] tener una referencia sobre “Big Data”, podemos usar la entrada del blog de Enrique Dans, que la muestra como el tratamiento y análisis de enormes repositorios de datos, tan [...]

[...] concepto de Big Data se refiere al almacenamiento y procesado de enormes cantidades de datos, tan desproporcionadamente grandes que resulta imposible tratarlos con las herramientas de bases de datos [...]

[...] procesado y análisis de la organización. Como comenta Enrique Dans en su articulo Big Data: una pequeña introducción, si hasta ahora nos sorprendiamos con lo que es capaz de hacer Google Analitcs, ahora llegan un [...]

[...] hacia dónde nos lleva esto tecnológicamente. Ya hay buenos puntos de entrada, como  ”una pequeña introducción” del incansable Enrique [...]

[...] la explosión del Big Data (según IBM, generamos más de 2.5 quintillones de bytes al día), las organizaciones necesitan [...]

[...] Con la explosión del Big Data (según IBM, generamos más de 2.5 quintillones de bytes al día), las organizaciones necesitan convertir esa tendencia de los consumidores en una estrategia de transformación de sus procesos de negocio. El SoMoClo está aquí para quedarse. El mundo ya es social, móvil y cloud; las empresas no deberían tardar en serlo, entendiendo lo cloud como el modo de entrega, lo social como el servicio compartido y lo móvil como el acceso ubicuo. Los líderes de las organizaciones deberían repensar sus procesos porque el SoMoClo necesita ser integrado en la empresa y representará el próximo capítulo de la transformación de Internet, expandiendo la colaboración a nuevos niveles de productividad. [...]

[...] la explosión del Big Data (según IBM, generamos más de 2.5 quintillones de bytes al día), las organizaciones necesitan [...]

[...] a explosão do Big Data (segundo IBM, geramos mais de 2.5 quintilhões de bytes ao dia), as empresas precisam transformar [...]

[...] Zuge von Datenexplosion und Big Data (laut IBM erzeugen wir mehr als 2,5 Quintillionen Bytes pro Tag) müssen Unternehmen diesen [...]

15 comentarios

001
Antonio Garcia Saenz
19.10.2011 a las 15:49 Permalink

Esos inmensos chatarreros o basureros, con toneladas y toneladas de chatarra… donde empresas especializadas continuamente saben sacar el valor, el cobre, el carton, a miles de toneladas de desechos, y sacarle una rentabilidad … ¿ es este el modelo de internet, sacar de entre millones de gigas de informacion desecho, ya billones gigas de ruido , de tantos usuarios, constantemente el reducto, el neto extraido, de utilidad, de rentabilidad ?… ¿no da algo de vertigo esto?

002
BBVAtech
19.10.2011 a las 15:53 Permalink

De todo el análisis que realizas (y felicidades por él, Enrique), hay una advertencia muy seria pero que por ir diseminada en el texto quizá no atrapa la atención como el despliegue de herramientas que citas. Y sin embargo es fundamental: “Si tu empresa no tiene un problema con la analítica de datos, es simplemente porque no está donde tiene que estar o no sabe cómo obtener información del entorno”. Tanto si es una firma ausente, como si actúa sobre la ignorancia, está dejando perder una oportunidad tras otra.

Muy buen enfoque.

003
Paco
19.10.2011 a las 18:05 Permalink

Hay un pequeño error de traducción: los quintillones americanos son miles de billones europeos. Hablamos del orden de 2.500 TB. Saludos

004
Antonio Castro
19.10.2011 a las 18:08 Permalink

Un procesador que continuamente se enfrenta a ese problema de exceso de información, es nuestro propio cerebro, y la solución que usa consiste en sacrificar el procesado de ciertas partes de la información en beneficio de aquellas que potencialmente se consideran más interesantes.

Los casos excepcionales, tales como la memoria fotográfica, suelen ir acompañadas de disfunciones en otras actividades mentales. Es el caso de ciertos autistas por ejemplo.

Por esa razón creo que los paradigmas relativos a este tipo de problemas pueden diferir mucho entre sí dependiendo del tipo de problemas que se deseen afrontar.

005
cronosnull
19.10.2011 a las 18:08 Permalink

BigData es un tema sumamente relevante y desarrollos como Hadoop, con el que he trabajado bastante en los últimos 2 años (mordiendo hadoop), Pregel y las bases de datos tipo NoSQL, facilitan mucho su manejo usando infraestructuras distribuidas que escalan horizontalmente. De esto se han dado cuenta IBM (con Biginsights) e incluso Oracle (con su “BigData appliance”) basados, totalmente o en parte, en Hadoop.
Es un tema que apasiona :P

006
matias diaz
19.10.2011 a las 19:20 Permalink

Excelente articulo enrique.
De esto lo que mas me preocupa es que no veo control sobre nada, todo el mundo produce datos, gigas y teras, etc., pero sucede que todo el mundo es amo y señor de sus datos, o quizas deberia decir nuestros datos que ahora son de ellos y negocian con ellos, pero entiendo que deberia haber algo o alguien que regule esto, para que esas herramientas analiticas esten enfocadas en algun estandar, porque como dices, son datos hetorogeneos que al final creo nos llevaran a un caos.
pero bueno, lo importante es que existen herramientas para lidiar con ellos, pero podria ser menos traumatico.

007
Gorki
19.10.2011 a las 19:25 Permalink

En otros tiempos, cuando yo trabajaba en informática, (hace unos 10 años), se hablaba mucho del Datamining, que venia a ser algo parecido, explorar en los datos buscando valor.
Entonces era un campo estratégico, pues al aumentar en las empresas la rotación de empleados, (cada vez había más eventuales y colaboradores y menos empleados fijos), se decía, que la empresa sufría una perdida de conocimientos cada vez que un empleado se iba pues se iban los conocimientos sobre el negocio con él. Se deseaba conservar información sobre los clientes, opinión del mercado sobre los productos y cosas por el estilo, por lo cual era necesario que las máquinas apredieran d a extraer el conocimiento existente en todo tipo de información existente en la empresa, no solo en pedidos y facturas, (estadísticas de venta), sino en e-mails, y todo tipo de documentos no estructurados, como informes, mensajeria instantánea, etc, de modo que una parte al menos lo que el empleado desaparecido sabía se recuperara por este camino para su consulta por el que le sustituyera, en el en caso necesario.

Se gastó mucho en ello, em España hubo una empresa llamada Meta4 (Metafora) que lo intentó todo, pero el resultado no fue muy afortunado y la empresa `paso una crisis muy grande hasta que la compro Baan, una empresa competencia de SAP que creo que también fracasó en el intento.

Desde entonces no había sabido de más intentos en ese campo, aunque Meta4 sigue funcionando en lo que era fuerte, las nóminas.

Es muy proyecto muy prometedor, sacar valor de cerros de información heterogénea, pero muy difícil de gestionar, las sutilezas del lenguaje escrito aun no son captadas por la inteligencia intelectual, mucho menos la comprensión de las imágenes. Pero puede que se haya avanzado mucho en este campo, ya no estoy en conectado con los temas y no estoy al día.

008
angelitos2
20.10.2011 a las 00:38 Permalink

Un tema enormemente interesante y que puede incluso llegar a enloquecer al mas prudente que se atreva a intentar profundizar en él.

Cito parte de un artículo sobre la conferencia Big Data 2011:

El camino de Microsoft

Entre los múltiples proyectos que puede tener en marcha un gigante como Microsoft relacionados con Big Data, hay que destacar uno de ellos por su objetivo: compilar una cantidad masiva de datos estructurados que puedan ser utilizados como base de aplicaciones de inteligencia artificial.

La arquitectura de Trinity

Se llama Probase y es, según la definición de Microsoft Research, un “un proyecto en marcha que se centra en adquirir conocimiento y servir conocimiento”. Su objetivo principal es “permitir que las máquinas entiendan el comportamiento y la comunicación humana”. Se nutre de una nueva base de datos orientada a grafos llamada Trinity.

Según la compañía, Probase es mucho más rico que otras bases de datos porque estructura la información en tres dimensiones: concepto, datos y dimensión de la relación. Uno de sus elementos más importantes es que “como el conocimiento que hay en nuestra mente, no lo ve todo blanco o negro. Probase cuantifica lo incierto”. Como un ser humano, no toma los datos como hechos, sino creencias o afirmaciones.

Este trabajo resultar muy útil para un buscador como Bing que siempre se ha etiquetado como un motor con más inteligencia semántica. Probase rivaliza directamente con Freebase, que fue desarrollado por Metaweb, ahora en propiedad de Google.

No es difícil encontrar la conexión entre Bing, Probase, Trinity y Dryan, una alternativa a Hadoop de la casa. Microsoft está construyendo un conjunto de herramientas para rivalizar con las que usa Google internamente y las herramientas de código abierto que emplean otros como Facebook y Twitter. Lo interesante será ver qué es capaz de hacer Microsoft con esos datos.

http://innovacion.ticbeat.com/estrategias-big-data-empresas-2011/

009
Mauricio
20.10.2011 a las 13:50 Permalink

Pues parece que muchas empresas sueñan con lograr incrementar sus ventas a través del análisis de los datos que dejamos en sus sitios web o en el de sus asociados, mientras nosotros vemos para otro lado o, incomprensiblemente, hacemos una defensa apenas tímida del valor de nuestra privacidad.

En contraposición, pienso que hay una gran cantidad de datos relevantes que la gente sí aporta de manera voluntaria y que, paradójicamente, prácticamente no se usan. Tomemos por ejemplo el caso de los comentarios en este mismo blog: hay muchas opiniones bien fundamentadas que se han dado sobre diversos temas, que fácilmente podrían abarcar o ser la base de al menos un par de libros enteros, pero que en la práctica yacen en el profundo olvido, sin que nadie se preocupe de darles el valor que tienen. Esta es una inteligencia colectiva que definitivamente se está perdiendo en la inmensidad del ciberespacio. Si hay quien recopila “tweets” y los agrupa en forma de libro, ¿no sería más relevante aún recopilar “blog comments” y además discutirlos, ampliarlos y contextualizarlos, para luego armar una buena obra con todo este material?

A esta información dispersa presente en un gran número de sitios web (foros, bitácoras, redes sociales, etc.), no se le está dando la importancia que tiene, excepto evidentemente cuando se trata de sitios comerciales. ¿No deberíamos todos empezar a colaborar en la gestión de la información que voluntariamente hemos aportado en este y en otros sitios web, antes de que se haga inmanejable?

010
Iñigo Gonzalez
20.10.2011 a las 19:03 Permalink

En mi opinión lo más interesante de Big Data es que aparece como una solución a problemas de manejo de datos (como mostrar anuncios relevantes en la web) que no es posible llevar a cabo con gestores de bases de datos convencionales… a un coste razonable.

Los vendedores de bases de datos llevan tiempo aplicando unas políticas de precios claramente abusivas (cobrando por sockets en el servidor, por core de CPU, por máquina virtual, y por máquina física) que hacen inviable que una startup (como fue en su momento google, facebook, o twitter) pueda comprar sus productos.

Una misma aplicación se puede utilizar desarrollar incorporando la misma funcionalidad sobre Hadoop/Sofa/MongoDB/Vertica/Infobright o una instalación de Oracle/Sybase/MsSQL Server; sin embargo el coste de adquirir y mantener esa infraestructura informática es mucho menor en instalaciones como las primeras.

A día de hoy la información, sobre todo la almacenada masivamente, tiene gran valor para cualquier empresa; pero los gestores de bases de datos son commodities, como lo fueron antes los servidores que están en el datacenter, y los sistemas operativos, y algunas aplicaciones (como los servidores web, etc…).

012
charli_htp
22.10.2011 a las 18:43 Permalink

HP compró Autonomy por 10.300 millones de dólares (casi nada oiga) para competir en este mercado con Oracle y compañía.

El tratamiento de datos no estructurados es el futuro, sin duda.

013
Belén
24.10.2011 a las 00:10 Permalink

El otro día una empresa competencia de Oracle en este tema me enseñó sus herramientas para gestionar el big data propio y el adquirido de sitios externos (ej. Facebook) que, aunque tenía buena pinta, seguía pareciendo demasiado poco procesado, en el sentido de que hace falta mucho análisis para sacar conclusiones rápidas y las interfaces aún son un segundo nivel de demasiada información. Comparado con desarrollos propios, más hechos a medida, creo que las soluciones pret-à-porter de las empresas que citas son insuficientes cuando se alcanzan volúmenes grandes, y para empresas más pequeñas, start ups etc. tendrán pereza y pocos recursos… pero en cualquier caso, es cierto, esas palabras y la muy 2011ava “infoxicación” cada día se oyen más

014
Jose
06.11.2011 a las 00:18 Permalink

Excelente artículo como introducción a un concepto que está ahora mismo en plena ebullición, pero creo que habría que puntualizar algunos conceptos.

Oracle no está especialmente bien posicionada en el tema, Exadata no es un producto enfocado al concepto Big Data, si no a la provisión de software e infraestructura sobre productos Oracle. En este sentido, les ha sido enormemente útil la adquisición de Sun, puesto que sus plataformas hardware han servido para desarrollar un concepto inicialmente concebido u orientado en otras plataformas. Ciertamente Oracle es consciente de que la tendencia va hacia los conceptos de Big Data y se está orientado hacia ellos, pero no era hasta ahora el foco de su negocio (ese es el motivo de la adquisición de Endeca). Lo mismo sucede con conceptos como el Cloud, en los que la orientación de su negocio, parece dejarle al margen, y que deben retomar para no quedarse fuera.

MapReduce, Google File System y NoSQL, no son realmente herramientas de Google. MapReduce es un concepto que cualquier estudiante de informática conoce y está asociado a la programación funcional, Google lo utilizó como principio para la ejecución de algoritmos de forma masivamente paralela. GFS es el sistema de ficheros propietario y utilizado como base de Google, pero no está liberado, en este se ha reutilizado el concepto para la implementación de FS libres como HDFS. Del mismo modo, NoSQL es un concepto ajeno a Google, aunque está utilizado para el principio de las bases de datos no estructuradas, como Big Table, la implementación inicial de Google, que fue posteriormente implementada en desarrollos no propietarios como HBase o Cassandra (implementada y liberada por Facebook).

Creo que tampoco es realista el comentario acerca de “Si tu empresa no tiene un problema con la analítica de datos, es simplemente porque no está donde tiene que estar o no sabe cómo obtener información del entorno”. En los volúmenes que maneja este tipo de base de datos hay pocas empresas en las que pueda ser realmente crítico. Por supuesto puede ser útil, y una alternativa por todo lo que dan estos desarrollos al margen de la analítica (tolerancia a fallos, redundancia, alta disponibilidad, procesamiento paralelo, …), pero no creo que sea realmente útil frente a soluciones tradicionales en la mayor parte de las compañías.

Hay que ver cómo evolucionan estas soluciones, pero es cierto que el futuro se presenta realmente apasionante. Tengo curiosidad también por ver el posicionamiento de Oracle o Microsoft. También es interesante, y posiblemente podría ser motivo de un post dedicado, lo que Google (o Facebook) puede sacar (o hubiera podido sacar) del concepto original. Si en lugar de publicar las ideas y los conceptos, hubiera optado por licenciarlos. Creo que es interesante valorarlo, porque determina en gran medida lo que es Google como empresa, frente a otras como Oracle, que sin duda hubieran aprovechado la ventaja de inventar este concepto y cerrarlo para su propio beneficio. El hecho de que no lo hicieran, es lo que les hace ahora ir retrasados y sin la ventaja de un producto competitivo. Sin duda lo serán en muy breve plazo, pero ahora mismo están a la zaga de soluciones abiertas y algo que también hace apasionante el momento respecto a Big Data.

015
Pask
04.01.2012 a las 15:45 Permalink

Los elefantes son lentos. TCO

Hay un player de nicho del que no se habla pero que esta desplegando arquitecturas capaces de indexar Tb diarios y sobre todo generar reports, alertas, etc. Se trata de Splunk.

Utilizando MapReduce es capaz de escalar horizontalmente y sobre todo tiene un reporting, drill-down no visto en otras soluciones, contando con un tiempo de despliegue de proyecto(*) que es ordenes de magnitud menor que hadoop.

Saludos

(*) Entendiendo como proyecto tener una arquitectura capaz de dar visibilidad a los datos vengan de donde vengan.

Comentarios cerrados

Logotipo de Blogestudio Logotipo de Acens