3 configuraciones de clúster Hadoop

Muchas de las decisiones que usted necesita hacer en cuanto a la composición de los bastidores y las redes dependen de la magnitud de su clúster Hadoop. Tiene tres permutaciones principales.

Conteúdo

3 configuraciones de clúster Hadoop
3 configuraciones de clúster Hadoop Agrandar
1

Solo estante despliegue Hadoop

Un despliegue de un único bastidor es un punto de partida ideal para un clúster Hadoop.

Aquí, el grupo es bastante autónomo, sino porque aún tiene relativamente pocos nodos esclavos, los verdaderos beneficios de la resistencia de Hadoop aún no son evidentes.

3 configuraciones de clúster Hadoop
3 configuraciones de clúster Hadoop Agrandar
2

Tres rack despliegue Hadoop


Un racimo de tamaño medio tiene varios bastidores, donde los tres nodos principales se distribuyen a través de los bastidores.

La resistencia de Hadoop está empezando a ser evidentes: Incluso si una parrilla completa fallara (por ejemplo, tanto TdR cambia en un solo rack), el grupo seguiría siendo la función, aunque a un menor nivel de rendimiento. Un fallo de nodo esclavo apenas sería perceptible.

3 configuraciones de clúster Hadoop
3 configuraciones de clúster Hadoop Agrandar
3

Hadoop despliegue a gran escala

En grupos más grandes con muchos bastidores, como el ejemplo que se muestra, la arquitectura de red requerida es bastante sofisticado.


Independientemente del número de bastidores racimos de Hadoop se expanden a los nodos esclavos de cualquier rack tienen que ser capaces de manera eficiente " charla " a cualquier nodo maestro.

A medida que el número de nodos esclavos aumenta hasta el punto en el que tiene más de tres bastidores, bastidores adicionales se componen únicamente de nodos esclavos, aparte de los interruptores de Tor. Si utilizas HBase en gran medida de su clúster, puede agregar nodos maestros para acoger servicios HMaster y Zookeeper adicionales.

Si se gradúa a una escala verdaderamente masiva, donde usted tiene cientos de nodos esclavos, puede que tenga que utilizar las capacidades de federación HDFS por lo que gran parte de sus conjuntos de datos son gestionados por diferentes servicios NameNode.

Por cada NameNode activo adicional, necesitará la correspondiente espera NameNode y dos nodos maestros para acoger estos servidores. Con HDFS federación, el cielo es el límite en cuanto a lo lejos que puede escalar sus clusters.




» » » » 3 configuraciones de clúster Hadoop