HDFS 是一个主/从(Mater/Slave)体系结构,一般来说有四部分组成 HDFS Client、NameNode、DataNode、[Secondary NameNode]。


  1. HDFS client 客户端

  • 文件切分。文件上传 HDFS 的时候,Client 将文件切分成一个一个的 Block,然后进行存储。

  • 与 NameNode 交互,获取文件的位置信息

  • 与 DataNode 交互,读取或者写入数据

  • Client 提供一些命令来管理和访问 HDFS,比如启动或者关闭 HDFS。

  1. NameNode 主节点

  • 管理 HDFS 的名称空间

  • 管理数据块(Block)映射信息

  • 配置副本策略

  • 处理客户端读写请求

  1. DataNode 从节点

  • 实际存储的数据块

  • 执行数据块的读/写操作

  1. Secondary NameNode 第二节点

  • 辅助 NameNode,分担其工作量

  • 定期合并 fsimage 和 fsedits,并推送给 NameNode

  • 在紧急情况下,可辅助恢复 NameNode



最后修改: 2023年12月27日 星期三 16:46