CentOS HDFS常见性能测试工具有哪些

HDFS 性能测试在 CentOS 环境下的常用工具

工具定位及清单

• TestDFSIO：写、读、追加、截断、清理等操作均受支持。作为Hadoop 自带基准测试，它评估的重点是 HDFS 吞吐（MB/s） 与 平均 I/O 速率，可用于回归对比和稳态吞吐评估。
• Terasort（teragen/terasort/teravalidate）：先生成数据，再排序并校验，由这三阶段验证端到端数据管道，同时衡量 MapReduce 排序性能，适用于 计算+存储 协同性能评估。
• SliveTest：要对 元数据与 RPC 层 开展稳定性及极限压测，可用该Hadoop test 包工具大量构造 ls/create/read/append/delete/rename 等 RPC，从而仿真行为并施加 NameNode RPC 压力。
• NNBench：NameNode 并发元数据操作基准，检验 大量文件/目录创建与访问 下的 NameNode 处理能力。
• MRBench：作业调度、提交及执行路径的稳定性和开销，可由轻量级 MapReduce 作业的反复执行基准加以验证。
• HiBench：工作负载级 性能可借助这套大数据基准进行评估；它支持 Hadoop/Spark 等多框架，微基准与宏基准均有覆盖（如 wordcount、sort、join、PageRank 等）。
• fio：对 DataNode 本地磁盘/文件系统 建立延迟基线，并测试顺序/随机读写时，可使用这一Linux 通用 I/O 压测工具绕过页缓存（如 direct=1）。
• Dynamometer：为降低评估成本，可在有限资源下用它 模拟更大规模集群，进而衡量 扩容/配置变更 给 HDFS 性能带来的影响。

常用工具入门操作

• TestDFSIO（HDFS 吞吐）

  • 写入：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB -resFile /path/result.log
  • 读取：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -read -nrFiles 10 -size 1GB -resFile /path/result.log
  • 执行清理操作：hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -clean
  • 关注输出：Total MBytes processed、Throughput mb/sec、Average IO rate mb/sec、IO rate std deviation、Test exec time sec。

• 排序及端到端测试（Terasort）

  • 数据生成操作：hadoop jar hadoop-x.x.x-examples.jar teragen -Dmapred.map.tasks=100 -Ddfs.block.size=134217728 10000000000 /terasort/output
  • 排序操作如下：hadoop jar hadoop-x.x.x-examples.jar terasort /terasort/output /terasort/sorted
  • 结果校验操作：hadoop jar hadoop-x.x.x-examples.jar teravalidate /terasort/sorted /terasort/validate

• SliveTest（NameNode RPC 压力）

  • 示例：hadoop jar hadoop-x.x.x-test.jar SliveTest -maps 50 -ops 2000 -baseDir /test/slive -resFile slive_result
  • 为组合不同类型、不同强度的 RPC，可调整 maps、ops、duration、readSize/writeSize/appendSize、blockSize，以及 ls/create/read/append/delete/rename 百分比 等配置项。

• fio（DataNode 磁盘基线）

  • 顺序写：fio -filename=/data/test.log -direct=1 -iodepth=1 -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
  • 顺序读：fio -filename=/data/test.log -direct=1 -iodepth=1 -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
  • 说明：设置 direct=1 可绕过系统缓存，使所得 吞吐与延迟 基线更接近磁盘/文件系统的实际表现。

选择及组合方式

• TestDFSIO（写→读→清理）适合仅考察 HDFS 吞吐与 I/O 稳定性的场景：执行多轮并取平均，重点判断 Throughput mb/sec 和 Average IO rate mb/sec 是否稳定。
• 更贴近真实业务的端到端指标，可通过 Terasort 或 HiBench 的排序/工作负载套件获得，适用于 计算+存储协同（如 SQL/ETL/作业链路）的评估。
• 观察 RPC 时延、排队和错误率时，可让 SliveTest/NNBench/MRBench 构造高并发元数据操作或反复提交作业，以此衡量 NameNode 元数据与 RPC 能力。
• 为 HDFS 结果归因准备底层参考时，应在 DataNode 本地以 fio 压测顺序/随机以及不同 bs/iodepth/并发，从而确定 磁盘/文件系统极限与基线。
• 在有限资源条件下由 Dynamometer 模拟更大集群，能够降低试错成本，并用于衡量 扩容/配置变更影响。
• 组合路径可按端到端方向反向梳理：先完成 fio 磁盘基线 → TestDFSIO HDFS 吞吐，再进行 SliveTest/NNBench RPC 压力 → Terasort/HiBench 端到端。

测试中的注意事项

• 控制环境与干扰：应尽量选用 干净集群（仅 NameNode/DataNode），并在测试期间关闭会占用 NameNode/带宽/CPU 的 SecondaryNameNode、Balancer、RaidNode 等组件，防止结果受到干扰。
• 本地磁盘基线使用 fio direct=1；HDFS 侧则安排 多次运行 并更换 不同文件/目录，以减弱缓存红利造成的影响。
• 版本间回归和瓶颈定位，需要对同一套参数执行 3–5 次 重复测试，再从结果中取中位数/均值。
• 不同工具的结果应分别判读：吞吐与 I/O 速率对应 TestDFSIO；总数据量/耗时 得出的排序速率对应 Terasort；RPC 时延与错误率 随并发的变化趋势则对应 SliveTest/NNBench。