1.Hadoop组成

在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源调度,耦合性较大。

在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce只负责运算。

Hadoop3.x在组成上没有变化

2.HDFS架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

3.YARN架构概述

Yet Another Resource Negotiator简称YARN,另一种资源协调者,是Hadoop的资源管理器。

1)ResourceManager(RM):整个集群资源(内存、CPU等)的老大。

2)NodeManager(NM):单个节点服务器资源的老大。

3)ApplicationMaster(AM):单个任务运行的老大。

4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

说明:

1.客户端可以有多个

2.集群上可以运行多个ApplicationMaster

3.每个NodeManager上可以有多个Container

4.MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和Reduce。

(1)Map阶段并行处理输入数据

(2)Reduce阶段对Map结果进行汇总

5.HDFS、YARN、MapReduce三者的关系