hadoop如何实现datanode磁盘扩容
这篇文章将为大家详细讲解有关hadoop如何实现datanode磁盘扩容,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
成都网站建设、做网站介绍好的网站是理念、设计和技术的结合。创新互联拥有的网站设计理念、多方位的设计风格、经验丰富的设计团队。提供PC端+手机端网站建设,用营销思维进行网站设计、采用先进技术开源代码、注重用户体验与SEO基础,将技术与创意整合到网站之中,以契合客户的方式做到创意性的视觉化效果。
Ambari HDFS Alert DataNode 磁盘空间不够,DataNode 磁盘扩容支持热插拔,我们只需要将扩容磁盘配置到dfs.datanode.data.dir
即可。
步骤:
注意:如果是ambari部署的hadoop集群,则必须从ambari界面更改,直接修改文件无效,重新启动添加的就没有了
修改 hdfs-site.xml 配置文件,添加新增的磁盘目录:用逗号分隔
dfs.datanode.data.dir /hadoop/hdfs/data,/data/hadoop/hdfs 修改 yarn-site.xml 配置文件,添加新增的磁盘目录:
yarn.nodemanager.local-dirs /hadoop/yarn/local,/data/hadoop/yarn/local yarn.nodemanager.log-dirs /hadoop/yarn/log,/data/hadoop/yarn/log 重启或刷新
如果只为datanode新增磁盘,可不重启datanode,使用reconfig刷新配置即可
# 开始刷新 # $ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] start $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 start Started reconfiguration task on node [10.1.xxx.xxx:8010] # 查看刷新进度 #$ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] status $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 status Reconfiguring status for node [10.1.xxx.xxx:8010]: started at Fri Aug 14 09:19:34 CST 2020 and finished at Fri Aug 14 09:19:34 CST 2020.
如果是在ambari中修改,修改完后,按提示重启组件即可
如果直接hadoop集群修改,配置同步到其它节点后重启datanode和nodemanager即可。
关于“hadoop如何实现datanode磁盘扩容”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
文章标题:hadoop如何实现datanode磁盘扩容
本文网址:http://scyanting.com/article/pccood.html