HDFS中DataNode有什么作用

这篇文章主要介绍了HDFS中DataNode有什么作用，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

创新互联公司是一家集网站建设,甘德企业网站建设,甘德品牌网站建设,网站定制,甘德网站建设报价,网络营销,网络优化,甘德网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

三个进程
1)NameNode (NN): 名称节点 --》client第一个操作的对象
NameNode的功能: 文件系统的命名空间
                              1.文件名称
                              2.文件目录结构
                              3.文件的属性(权限创建时间副本数)
                              4.文件对应哪些数据块--》这些数据块对应哪些DataNode节点上,不会持久化存储这个映射关系，通过集群的启动和运行时，datanode定期发送blockReport给NN,以此NN在【内存】中动态维护这种映射关系。
存储:   维护文件系统树及整个树内的所有文件和目录，这些信息以两种文件形式永久保存在本地磁盘上,命名空间镜像文件fsimage+编辑日志editlog
2)DataNode (DN): 数据节点 --》存储数据的
DataNode的作用:
   1.每隔3秒发送一次心跳参数可配置（默认）
   2.每隔10次心跳发送一次blockReport (30s)（默认）
存储: 数据块+数据块校验，和与NN通信
3)Secondary NameNode(SNN): 第二名称节点
Secondary NameNode的作用：
                           定期合并fsimage+editlog文件为新的fsimage，推送给NN，称为检查点，checkpoint
                          存储: 命名空间镜像文件fsimage+编辑日志editlog

参数:fs.checkpoint.period-->1h fs.checkpoint.size -->64M

2.block(数据块)
大小: 64M 128M(目前2.x中默认)

参数: dfs.blocksize

3.副本数
dfs.replication : 3 一个块会变为3个块

案例
1个文件130M : 128M 2M 两个块默认块大小为128M 实际存储: 130M*3 多少个块: 6

4.副本放置策略

第一副本：放置在上传文件的DataNode上; HDFS中DataNode有什么作用
如果是集群外提交，则随机挑选一台磁盘
不太慢、 CPU不太忙的节点上;
第二副本：放置在于第一个副本不同的机
架的节点上;
第三副本：与第二个副本相同机架的不同
节点上;
如果还有更多的副本：随机放在节点中;

感谢你能够认真阅读完这篇文章，希望小编分享的“HDFS中DataNode有什么作用”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!

网页名称：HDFS中DataNode有什么作用
文章地址：http://scyanting.com/article/pcojpp.html

HDFS中DataNode有什么作用

其他资讯