hadoop2.xHA下DFSClient初始化流程是什么
这篇文章主要讲解了“hadoop2.x HA下DFSClient初始化流程是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hadoop2.x HA下DFSClient初始化流程是什么”吧!
通辽网站建设公司创新互联,通辽网站设计制作,有大型网站制作公司丰富经验。已为通辽近1000家提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱,请找那个售后服务好的通辽做网站的公司定做!
Hadoop2.X NameNode加入了autofiledover机制,对于采用了HA的namenode,在HDFS Client访问的时候,是如何自动识别active的NN,又是在active NN 宕机的时候,自动切换到新的NN呢。
1.DFSClient的初始化:
主要涉及的类有以下几个:NameNodeProxies、RetryProxy、RetryInvocationHandler、ConfiguredFailoverProxyProvider。
NameNodeProxies | 与NN通讯的对象的创建提供类 |
RetryProxy | RetryProxy的工厂方法 |
RetryInvocationHandler | 连接异常代理的方法实现 |
ConfiguredFailoverProxyProvider | 获取可用NN的类 |
具体代码实现相对比较简单,只是逻辑稍微复杂。
2.在Active NN宕机的时候,如何做到自动切换。
可以看到对于连接异常的处理实现代码:
if (action.action == RetryAction.RetryDecision.FAILOVER_AND_RETRY) {//继续选择可用的NN节点 // Make sure that concurrent failed method invocations only cause a // single actual fail over. synchronized (proxyProvider) { if (invocationAttemptFailoverCount == proxyProviderFailoverCount) { proxyProvider.performFailover(currentProxy.proxy); //该方法会重新获取下一个可用的NN proxyProviderFailoverCount++; } else { LOG.warn("A failover has occurred since the start of this method" + " invocation attempt."); } currentProxy = proxyProvider.getProxy(); //返回当前可用的NN } invocationFailoverCount++; }
performFailover的实现:
@Override public synchronized void performFailover(T currentProxy) { currentProxyIndex = (currentProxyIndex + 1) % proxies.size(); }
其实对于获取可用的NN,就是将所有的NN节点方法到List中,然后从下标0开始获取NN,如果有异常Index++,继续获取,直到可用。
感谢各位的阅读,以上就是“hadoop2.x HA下DFSClient初始化流程是什么”的内容了,经过本文的学习后,相信大家对hadoop2.x HA下DFSClient初始化流程是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
分享名称:hadoop2.xHA下DFSClient初始化流程是什么
文章地址:http://scyanting.com/article/ghsphc.html