[Hadoop] Rack Awareness

Rack Awareness / Rack Topology http://www.slideshare.net/tutorialvillage/hadoop-hdfs-concepts Los scripts de topología son usados por Hadoop para determinar la localización de los nodos que lo forman. Esta información, a su vez, es usada a la hora de llevar a cabo la replicación de los bloques de...

Integrando Kafka (producer) y Spark Streaming (consumer), Parte 1

Breve tutorial que tratará de mostrar como integrar estas dos potentes herramientas: Kafka y Spark Streaming. La idea es aclarar o ampliar en cierta forma la información contenida en la guía Spark Streaming + Kafka Integration Guide a través de un sencillo ejemplo. En esta primera...

[Cloudera Manager & Event Server] Error starting EventServer

Problema: Tras una caída inesperada del servidor en donde se encuentra desplegado el Event Server, éste no puede iniciarse satisfactoriamente.    # more /var/log/cloudera-scm-eventserver/mgmt-cmf-mgmt-EVENTSERVER-cloudera1.log.out    ...    2015-02-07 11:27:45,483 ERROR com.cloudera.cmf.eventcatcher.server.EventCatcherService: Error starting EventServer  ...

[Flume + MongoDB] Plugin Flume NG MongoDB Sink

[Flume + MongoDB] Plugin Flume NG MongoDB Sink Instalar Flume en CentOS: Visitar Apache Flume - Downloads, copiar la URL de los binarios de la versión deseada y descargarla:    bash# cd /usr/local    bash# wget http://apache.rediris.es/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz Extraer...

[Cloudera & Flume] WebService to HDFS

Flume «Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many...