1、NameNode 与 ResourceManager 单节点架构模型


Hdfs 分布式集群：

  • NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

  • secondaryNameNode：主要能用于 Hadoop 当中元数据信息的辅助管理

  • DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

Yarn 资源管理集群：

  • ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

  • NodeManager：负责执行主节点 APPmaster 分配的任务

2、NameNode 高可用与 ResourceManager 单节点架构模型


Hdfs 分布式集群：

  • NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

  • JournalNode：文件系统元数据信息管理

  • DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

  • Zookeeper 集群：监控 NameNode 节点的状态，其中一个 NameNode 丢失，另外的 NameNode 接管集群

Yarn 资源管理集群：

  • ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

  • NodeManager：负责执行主节点 APPmaster 分配的任务

3、NameNode 单节点与 ResourceManager 高可用架构模型


Hdfs 分布式集群：

  • NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

  • secondaryNameNode：主要能用于 Hadoop 当中元数据信息的辅助管理

  • DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

Yarn 资源管理集群：

  • ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过 Zookeeper 实现 ResourceManager 的高可用

  • NodeManager：负责执行主节点 APPmaster 分配的任务

4、NameNode 与 ResourceManager 高可用架构模型


Hdfs 分布式集群：

  • NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

  • JournalNode：文件系统元数据信息管理

  • DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

  • Zookeeper 集群：监控 NameNode 节点的状态，其中一个 NameNode 丢失，另外的 NameNode 接管集群

Yarn 资源管理集群：

  • ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过 Zookeeper 实现 ResourceManager 的高可用

  • NodeManager：负责执行主节点 APPmaster 分配的任务

最后修改: 2023年12月27日 星期三 15:40