Hadoop维护实战-设置hdfs副本数dfs.replication
Hadoop维护实战 设置hdfs副本数 dfs.replication
站在用户的角度思考问题,与客户深入沟通,找到延平网站设计与延平网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广、域名与空间、网站空间、企业邮箱。业务覆盖延平地区。
有个临时应用,使用临时调配的机器,机器磁盘差别数十倍。
在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一点。
明显的hadoop集群各datanode空间使用率很不均衡,需要重新balance。于是想到了hdfs的均衡器balancer。
sbin/start-balancer.sh -threshold 10
但是在执行hdfs的balancer时会自动退出,不执行,也没有发现Error或者Warning。
但在out文件中可以看到一些信息:
balancer已经计算出要移动的数据量,但是就是没有移动,只是提示:
No block has been moved for 5 iterations. Exiting...
原来hadoop balancer在进行转移block的时候是会判断的:
*
The balancer automatically exits when any of the following five
* conditions is satisfied:
*
- The cluster is balanced;
*
- No block can be moved;
*
- No block has been moved for five consecutive(连续) iterations;
*
- An IOException occurs while communicating with the namenode;
*
- Another balancer is running.
*
*
* 下面5种情况会导致Balance操作的失败
* 1、整个集群已经达到平衡状态
* 2、经过计算发现没有可以被移动的block块
* 3、在连续5次的迭代中,没有block块被移动
* 4、当datanode节点与namenode节点通信的时候,发生IO异常
* 5、已经存在一个Balance操作
显然是第三点问题了,log里显示执行了5次迭代但都每移动,应该是多副本的原因,迭代的block在大磁盘机器上都已经存在,那边都已经存在了,所以balancer移动进程就退出了。
不能执行均衡器了,那只有减少副本数了。
修改hdfs的副本数,首先想到的是修改hdfs-site.xml中的dfs.replication参数,默认为3,开始时设置成了2,现在索性修改为1,然后重启datanode命令:sbin/hadoop-daemon.sh start datanode
但似乎没有起作用,数据量没有变化,按理说应该大量数据减少才对啊。这又是为什么呢?
首先 dfs.replication这个参数是个client参数,即node level参数。需要在每台datanode上设置。
一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。可以在上传文件的同时指定创建的副本数。
如果你只有3个datanode,但是你却指定副本数为4,是不会生效的,因为每个datanode上只能存放一个副本。
啊,原来是这样,那就看下现在HDFS的副本数,并把它们都修改执行下,是不是有相应的hadoop shell命令呢?
Hadoop Commands和FileSystem Shell
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/CommandsManual.html
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html
执行 hadoop fsck / 查看整个目录的备份数分布,输出结果如下:
Default replication factor 2
Average block replication 2.38
修改hdfs文件备份系数:hadoop dfs -setrep [-R]
hadoop dfs -setrep -w 1 -R /user/hadoop/dir1 就是把目录下所有文件备份系数设置为1.
这个需要一些时间,感觉会扫描所有指定目录下的文件。
修改完已经存储的文件后,记得要修改以后放入的数据副本数,这个就要看client端了,如果client端有设置,一定要修改。
上面的都执行后如果还是不均衡,此时可以再执行hdfs的均衡器balancer。
个人感觉以上的只是出现问题时的一个解决方案,期望不要出现这样的问题,毕竟数据量大了操作会有很大的影响的。
我们应该对dfs.replication的数值做出很好的规划,尽量避免需要降低该数值的情况出现。
当前名称:Hadoop维护实战-设置hdfs副本数dfs.replication
分享地址:http://scyanting.com/article/ghdehi.html