De todo el análisis que realizas (y felicidades por él, Enrique), hay una advertencia muy seria pero que por ir diseminada en el texto quizá no atrapa la atención como el despliegue de herramientas que citas. Y sin embargo es fundamental: “Si tu empresa no tiene un problema con la analítica de datos, es simplemente porque no está donde tiene que estar o no sabe cómo obtener información del entorno”. Tanto si es una firma ausente, como si actúa sobre la ignorancia, está dejando perder una oportunidad tras otra.

Muy buen enfoque.

Un procesador que continuamente se enfrenta a ese problema de exceso de información, es nuestro propio cerebro, y la solución que usa consiste en sacrificar el procesado de ciertas partes de la información en beneficio de aquellas que potencialmente se consideran más interesantes.

Los casos excepcionales, tales como la memoria fotográfica, suelen ir acompañadas de disfunciones en otras actividades mentales. Es el caso de ciertos autistas por ejemplo.

Por esa razón creo que los paradigmas relativos a este tipo de problemas pueden diferir mucho entre sí dependiendo del tipo de problemas que se deseen afrontar.

Excelente articulo enrique.
De esto lo que mas me preocupa es que no veo control sobre nada, todo el mundo produce datos, gigas y teras, etc., pero sucede que todo el mundo es amo y señor de sus datos, o quizas deberia decir nuestros datos que ahora son de ellos y negocian con ellos, pero entiendo que deberia haber algo o alguien que regule esto, para que esas herramientas analiticas esten enfocadas en algun estandar, porque como dices, son datos hetorogeneos que al final creo nos llevaran a un caos.
pero bueno, lo importante es que existen herramientas para lidiar con ellos, pero podria ser menos traumatico.

Un tema enormemente interesante y que puede incluso llegar a enloquecer al mas prudente que se atreva a intentar profundizar en él.

Cito parte de un artículo sobre la conferencia Big Data 2011:

El camino de Microsoft

No es difícil encontrar la conexión entre Bing, Probase, Trinity y Dryan, una alternativa a Hadoop de la casa. Microsoft está construyendo un conjunto de herramientas para rivalizar con las que usa Google internamente y las herramientas de código abierto que emplean otros como Facebook y Twitter. Lo interesante será ver qué es capaz de hacer Microsoft con esos datos.

http://innovacion.ticbeat.com/estrategias-big-data-empresas-2011/

En mi opinión lo más interesante de Big Data es que aparece como una solución a problemas de manejo de datos (como mostrar anuncios relevantes en la web) que no es posible llevar a cabo con gestores de bases de datos convencionales… a un coste razonable.

Los vendedores de bases de datos llevan tiempo aplicando unas políticas de precios claramente abusivas (cobrando por sockets en el servidor, por core de CPU, por máquina virtual, y por máquina física) que hacen inviable que una startup (como fue en su momento google, facebook, o twitter) pueda comprar sus productos.

Una misma aplicación se puede utilizar desarrollar incorporando la misma funcionalidad sobre Hadoop/Sofa/MongoDB/Vertica/Infobright o una instalación de Oracle/Sybase/MsSQL Server; sin embargo el coste de adquirir y mantener esa infraestructura informática es mucho menor en instalaciones como las primeras.

A día de hoy la información, sobre todo la almacenada masivamente, tiene gran valor para cualquier empresa; pero los gestores de bases de datos son commodities, como lo fueron antes los servidores que están en el datacenter, y los sistemas operativos, y algunas aplicaciones (como los servidores web, etc…).

HP compró Autonomy por 10.300 millones de dólares (casi nada oiga) para competir en este mercado con Oracle y compañía.

El tratamiento de datos no estructurados es el futuro, sin duda.

Excelente artículo como introducción a un concepto que está ahora mismo en plena ebullición, pero creo que habría que puntualizar algunos conceptos.

Oracle no está especialmente bien posicionada en el tema, Exadata no es un producto enfocado al concepto Big Data, si no a la provisión de software e infraestructura sobre productos Oracle. En este sentido, les ha sido enormemente útil la adquisición de Sun, puesto que sus plataformas hardware han servido para desarrollar un concepto inicialmente concebido u orientado en otras plataformas. Ciertamente Oracle es consciente de que la tendencia va hacia los conceptos de Big Data y se está orientado hacia ellos, pero no era hasta ahora el foco de su negocio (ese es el motivo de la adquisición de Endeca). Lo mismo sucede con conceptos como el Cloud, en los que la orientación de su negocio, parece dejarle al margen, y que deben retomar para no quedarse fuera.

MapReduce, Google File System y NoSQL, no son realmente herramientas de Google. MapReduce es un concepto que cualquier estudiante de informática conoce y está asociado a la programación funcional, Google lo utilizó como principio para la ejecución de algoritmos de forma masivamente paralela. GFS es el sistema de ficheros propietario y utilizado como base de Google, pero no está liberado, en este se ha reutilizado el concepto para la implementación de FS libres como HDFS. Del mismo modo, NoSQL es un concepto ajeno a Google, aunque está utilizado para el principio de las bases de datos no estructuradas, como Big Table, la implementación inicial de Google, que fue posteriormente implementada en desarrollos no propietarios como HBase o Cassandra (implementada y liberada por Facebook).

Creo que tampoco es realista el comentario acerca de “Si tu empresa no tiene un problema con la analítica de datos, es simplemente porque no está donde tiene que estar o no sabe cómo obtener información del entorno”. En los volúmenes que maneja este tipo de base de datos hay pocas empresas en las que pueda ser realmente crítico. Por supuesto puede ser útil, y una alternativa por todo lo que dan estos desarrollos al margen de la analítica (tolerancia a fallos, redundancia, alta disponibilidad, procesamiento paralelo, …), pero no creo que sea realmente útil frente a soluciones tradicionales en la mayor parte de las compañías.

Hay que ver cómo evolucionan estas soluciones, pero es cierto que el futuro se presenta realmente apasionante. Tengo curiosidad también por ver el posicionamiento de Oracle o Microsoft. También es interesante, y posiblemente podría ser motivo de un post dedicado, lo que Google (o Facebook) puede sacar (o hubiera podido sacar) del concepto original. Si en lugar de publicar las ideas y los conceptos, hubiera optado por licenciarlos. Creo que es interesante valorarlo, porque determina en gran medida lo que es Google como empresa, frente a otras como Oracle, que sin duda hubieran aprovechado la ventaja de inventar este concepto y cerrarlo para su propio beneficio. El hecho de que no lo hicieran, es lo que les hace ahora ir retrasados y sin la ventaja de un producto competitivo. Sin duda lo serán en muy breve plazo, pero ahora mismo están a la zaga de soluciones abiertas y algo que también hace apasionante el momento respecto a Big Data.