hadoop2.xHA下DFSClient初始化流程是什么

这篇文章主要讲解了“hadoop2.x  HA下DFSClient初始化流程是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hadoop2.x  HA下DFSClient初始化流程是什么”吧!

通辽网站建设公司创新互联,通辽网站设计制作,有大型网站制作公司丰富经验。已为通辽近1000家提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱,请找那个售后服务好的通辽做网站的公司定做!

Hadoop2.X NameNode加入了autofiledover机制,对于采用了HA的namenode,在HDFS Client访问的时候,是如何自动识别active的NN,又是在active NN 宕机的时候,自动切换到新的NN呢。

1.DFSClient的初始化:

hadoop2.x  HA下DFSClient初始化流程是什么

主要涉及的类有以下几个:NameNodeProxies、RetryProxy、RetryInvocationHandler、ConfiguredFailoverProxyProvider。

NameNodeProxies

与NN通讯的对象的创建提供类

RetryProxy

RetryProxy的工厂方法

RetryInvocationHandler

连接异常代理的方法实现

ConfiguredFailoverProxyProvider

获取可用NN的类

具体代码实现相对比较简单,只是逻辑稍微复杂。


2.在Active NN宕机的时候,如何做到自动切换。

可以看到对于连接异常的处理实现代码:

if (action.action == RetryAction.RetryDecision.FAILOVER_AND_RETRY) {//继续选择可用的NN节点
            // Make sure that concurrent failed method invocations only cause a
            // single actual fail over.
            synchronized (proxyProvider) {
              if (invocationAttemptFailoverCount == proxyProviderFailoverCount) {
                proxyProvider.performFailover(currentProxy.proxy); //该方法会重新获取下一个可用的NN
                proxyProviderFailoverCount++;
              } else {
                LOG.warn("A failover has occurred since the start of this method"
                    + " invocation attempt.");
              }
              currentProxy = proxyProvider.getProxy(); //返回当前可用的NN
            }
            invocationFailoverCount++;
          }

performFailover的实现:

@Override
  public synchronized void performFailover(T currentProxy) {
    currentProxyIndex = (currentProxyIndex + 1) % proxies.size();
  }

其实对于获取可用的NN,就是将所有的NN节点方法到List中,然后从下标0开始获取NN,如果有异常Index++,继续获取,直到可用。

感谢各位的阅读,以上就是“hadoop2.x  HA下DFSClient初始化流程是什么”的内容了,经过本文的学习后,相信大家对hadoop2.x  HA下DFSClient初始化流程是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


当前名称:hadoop2.xHA下DFSClient初始化流程是什么
URL标题:http://scyanting.com/article/ghsphc.html