Actualizado el 19/11/2024
Actualizado el 19/11/2024
Hadoop: ¿ha llegado para quedarse?Escrito por Jordi Torres el 08/07/2014 a las 17:58:265290
(Catedrático de la UPC e investigador del BSC) Me han sugerido que de mi opinión en Tecnonews sobre Hadoop y su posible recorrido. Aquí les dejo un breve sobre el tema que espero que les sea útil para poder avanzar por su cuenta si lo consideran interesante.
Hadoop se creo hace una década de la mano de grandes empresas como Google y Yahoo para permitir la computación distribuida en commodity hardware, convertido finalmente en un proyecto open source de gran impacto en el sector informático.
Sin duda el aumento de la demanda de análisis de grandes volumenes de datos, a menudo no estructurados, ha sido uno de las principales razones de la expansión de Hadoop. Las empresas que ofrecen servicios informático incluyen ya Hadoop en su portfolio.
Algunos estudios apuntan que los ingresos de mercado de Hadoop durante el año pasado fueron de $ 2.000 millones de dólares y se espera que crezcan a valores alrededor de los 50.000 millones de dólares en el 2020.
Hay que tener en cuenta que hoy en día con el termino Hadoop ya no nos referimos a un solo programa sino a un ecosistema de programas para tratar diversos desafíos del Big Data. Empresas como MapR, Hortonworks o Cloudera ofrecen distribuciones de Hadoop que incluyen todo una extensa suite de programas.
Pero Hadoop está mostrando su edad y en algunos casos las empresas empiezan a demandar nuevas propuestas que por ejemplo mejoren el rendimiento o permitan más flexibilidad a la hora de especificar los problemas a los que hoy se enfrentan.
Hay varias iniciativas que pretenden dar solución a estos problemas. Una de las que están sonando con fuerza se llama Spark, también Open Source, que tiene su origen en la universidad de Berkeley (California). Quisiera hacer notar que durante el último año este proyecto ha tenido más contribuidores que el proyecto Hadoop.
Otra prueba del crecimiento de la influencia de Spark es que ya se usa en empresas, también españolas, en sustitución de Hadoop. Además de tener en cuenta que se ha creado la startup Databricks para comercializarlo, que ya ha levantado 14 millones de dólares de inversión.
Si les interesa conocer y seguir los avances de Spark en España, se ha creado recientemente un grupo de interés, el Barcelona Spark Meetup (http://www.meetup.com/Spark-Barcelona), que organiza encuentros mensuales, cuelga información en la web y ya aglutina cerca de 200 personas.
En resumen, Hadoop es sin duda una tecnología madura que está aquí y permite resolver muchos de los retos Big Data que se puedan plantear en su empresa. Pero el mundo Big Data está jen sus estadios iniciales y por ello aparecerán nuevas soluciones de manera muy espontánea, con lo cual se debe estar atento a los avances para ver cuales de ellos pueden beneficiar más a su empresa.
Jordi Torres
Catedrático de la UPC y BSC.
www.JordiTorres.eu - @JordiTorresBCN
|
