Administrar los recursos de datos grandes y aplicaciones con hilo hadoop

Planificación de tareas y seguimiento de los grandes datos son partes integrales de Hadoop MapReduce y se pueden usar para administrar los recursos y aplicaciones. Las primeras versiones de Hadoop apoyaron un sistema de seguimiento de trabajos y tareas rudimentarias, pero a medida que la mezcla de trabajo apoyado por Hadoop cambió, el programador no podían mantener el ritmo.

En particular, el antiguo programador no podía manejar trabajos no MapReduce, y era incapaz de optimizar la utilización de clúster. Así que una nueva capacidad fue diseñado para hacer frente a estas deficiencias y ofrecer más flexibilidad, eficiencia y rendimiento.

Sin embargo, otro negociador de recursos (HILO) es un servicio central Hadoop proporciona dos servicios principales:

  • La gestión global de los recursos (ResourceManager)

  • Gestión de cada aplicación (ApplicationMaster)

El ResourceManager es un servicio principal y control NodeManager en cada uno de los nodos de un clúster Hadoop. Incluido en el ResourceManager es programador, cuya única tarea es asignar los recursos del sistema a aplicaciones específicas de funcionamiento (tareas), pero no supervisa ni un seguimiento del estado de la aplicación.

Toda la información requerida del sistema se almacena en un contenedor de recursos. Contiene CPU detallada, disco, red y otros recursos importantes atributos necesarios para la ejecución de aplicaciones en el nodo y en el clúster.

Cada nodo tiene un NodeManager esclavizado a la ResourceManager global en el clúster. El NodeManager supervisa el uso de la aplicación de la CPU, disco, red, y la memoria y los informes de nuevo a la ResourceManager. Para cada aplicación que se ejecuta en el nodo hay un ApplicationMaster correspondiente.

Si son necesarias para apoyar la aplicación que se ejecuta más recursos, la ApplicationMaster notifica al NodeManager y la NodeManager negocia con el ResourceManager (Programador) para la capacidad adicional en nombre de la aplicación. El NodeManager también es responsable para el seguimiento del estado del trabajo y el progreso dentro de su nodo.


» » » » Administrar los recursos de datos grandes y aplicaciones con hilo hadoop