¿Cómo poner en marcha una aplicación de MapReduce en hadoop 1

Para ver cómo el JobTracker y TaskTracker trabajan juntos para llevar a cabo una acción de MapReduce, echar un vistazo a la ejecución de una aplicación de MapReduce. La figura muestra las interacciones, y la siguiente lista de pasos establece el play-by-play:

  1. La aplicación cliente envía una solicitud de aplicación a la JobTracker.

  2. El JobTracker determina cómo se necesitan muchos recursos de procesamiento para ejecutar toda la aplicación.

    Esto se hace mediante la solicitud de los lugares y los nombres de los archivos y bloques de datos que la aplicación necesita de la NameNode, y el cálculo de cuántas tareas mapa y reducir las tareas serán necesarios para procesar todos estos datos.

  3. El JobTracker examina el estado de los nodos esclavos y las colas de todas las tareas de mapas y reducen las tareas para su ejecución.

  4. Como ranuras de procesamiento estén disponibles en los nodos esclavos, tareas mapa se implementan en los nodos esclavos.

    Mapa tareas asignadas a los bloques específicos de datos se asignan a los nodos donde se almacena la misma información.

  5. El progreso de la tarea monitores JobTracker, y en el caso de fallo de la tarea o un fallo de nodo, la tarea se reinicia en la siguiente ranura disponible.

    Si la misma tarea falla después de cuatro intentos (que es un valor por defecto y se puede personalizar), todo el trabajo se producirá un error.

  6. Después de que el mapa de tareas están terminadas, reducen las tareas de procesar los conjuntos de resultados provisionales de las tareas de mapas.

  7. El conjunto de resultados se devuelve a la aplicación cliente.

    imagen0.jpg

Aplicaciones más complejas pueden tener múltiples rondas de map / reduce fases, donde el resultado de la primera ronda se utiliza como entrada para la segunda ronda. Esto es muy común con las cargas de trabajo de estilo SQL, en las que hay, por ejemplo, se unen y el grupo por operaciones.


» » » » ¿Cómo poner en marcha una aplicación de MapReduce en hadoop 1