edits 详解

  • edits 存放了客户端最近一段时间的操作日志

  • 客户端对 HDFS 进行写文件时会首先被记录在 edits文件中

  • edits 修改时元数据也会更新

    查看edits文件

hdfs oev -i edits_0000000000012388677-0000000000013909225 -p XML -o my.xml

FsImage 详解

  • NameNode 中关于元数据的镜像, 一般称为检查点, fsimage 存放了一份比较完整的元数据信息

  • 因为 fsimage 是 NameNode 的完整的镜像, 如果每次都加载到内存生成树状拓扑结构，这是非常耗内存和 CPU, 所以一般开始时对 NameNode 的操作都放在 edits 中

  • fsimage 内容包含了 NameNode 管理下的所有 DataNode 文件及文件 block 及 block 所在的 DataNode 的元数据信息.

  • 随着 edits 内容增大, 就需要在一定时间点和 fsimage 合并

    查看 FsImage 文件

hdfs oiv -i fsimage_0000000000013969202 -p XML -o hello.xml

最后修改: 2023年12月27日 星期三 17:12