2.3 架构模型
1、NameNode 与 ResourceManager 单节点架构模型
Hdfs 分布式集群:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
secondaryNameNode:主要能用于 Hadoop 当中元数据信息的辅助管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
Yarn 资源管理集群:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配
NodeManager:负责执行主节点 APPmaster 分配的任务
2、NameNode 高可用与 ResourceManager 单节点架构模型
Hdfs 分布式集群:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
JournalNode:文件系统元数据信息管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
Zookeeper 集群:监控 NameNode 节点的状态,其中一个 NameNode 丢失,另外的 NameNode 接管集群
Yarn 资源管理集群:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配
NodeManager:负责执行主节点 APPmaster 分配的任务
3、NameNode 单节点与 ResourceManager 高可用架构模型
Hdfs 分布式集群:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
secondaryNameNode:主要能用于 Hadoop 当中元数据信息的辅助管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
Yarn 资源管理集群:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划分,通过 Zookeeper 实现 ResourceManager 的高可用
NodeManager:负责执行主节点 APPmaster 分配的任务
4、NameNode 与 ResourceManager 高可用架构模型
Hdfs 分布式集群:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
JournalNode:文件系统元数据信息管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
Zookeeper 集群:监控 NameNode 节点的状态,其中一个 NameNode 丢失,另外的 NameNode 接管集群
Yarn 资源管理集群:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划分,通过 Zookeeper 实现 ResourceManager 的高可用
NodeManager:负责执行主节点 APPmaster 分配的任务