Skip to content

Hadoop Balance 太慢问题处理

Published: at 00:00
说明
只是记录Hadoop Balance速度太慢怎么处理的方法。
相关参数自行查阅网络。
查看 Hadoop 的配置项
hdfs getconf -confKey dfs.datanode.balance.bandwidthPerSec
hdfs getconf -confKey dfs.datanode.max.transfer.threads
hdfs getconf -confKey dfs.datanode.balance.max.concurrent.moves
设置配置项
hdfs dfsadmin -setBalancerBandwidth  104857600
指定配置执行 balance
hdfs balancer  \
    -Ddfs.datanode.balance.max.concurrent.moves=50 \
    -Ddfs.balancer.dispatcherThreads=1024 \
    -Ddfs.balance.bandwidthPerSec=104857600 \
    -threshold 5