Hadoop distribuido sistema de archivos (HDFS) federación

La solución a la expansión de grupos de Hadoop indefinidamente es federar el NameNode. Antes de Hadoop 2 entró en escena, racimos de Hadoop tuvieron que vivir con el hecho de que NameNode coloca límites al grado en que podrían escalar. Pocos grupos fueron capaces de escalar más allá de 3.000 o 4.000 nodos.

Necesidad de NameNode para mantener registros para cada bloque de datos almacenados en el grupo resultó ser el factor más significativo restringir mayor crecimiento clúster. Cuando usted tiene demasiados bloques, se hace cada vez más difícil para el NameNode a escala como el cluster Hadoop escalas a cabo.

En concreto, debe establecer HDFS de modo que tiene varias instancias NameNode que se ejecutan en sus propios nodos maestros dedicados y luego haciendo cada NameNode responsable únicamente de los bloques de archivos en su propio espacio de nombre.

imagen0.jpg

La figura muestra los patrones de replicación de bloques de datos en HDFS. Se puede ver un cluster Hadoop con dos NameNodes servir un solo clúster. Los nodos esclavos todos contienen bloques de ambos espacios de nombres.


» » » » Hadoop distribuido sistema de archivos (HDFS) federación