学hadoop需要什么基础-创新互联

最近一段时间一直在接触关于 hadoop 方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学 hadoop 需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习 hadoop 的缘故,也就没想过这样的一个简单的问题。

思明网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、响应式网站建设等网站项目制作,到程序开发,运营维护。创新互联于2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联

我们目前在用的 hadoop 版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫 DKhadoop 。大快搜索推出的一款原生态开发的 Hadoop 集成生态环境。从使用的效果上看 DKhadoop 与开源环境是可以做到完全兼容的。准备过段时间抽个空,试着写一下以 DKhadoop 为切入点关于学习 hadoop 需要掌握什么基础。
学hadoop需要什么基础

【 DKhadoop 基础技术架构图】

关于学 hadoop 需要什么基础这样的问题,看到一篇关于介绍学习原生 hadoop 的分享,个人觉得还是很不错的一篇文章。这里也分享给大家,供参考之用。

关于学习 hadoop 需要具备什么基础知识,首先应该从整体了解 hadoop ,包括 hadoop 是什么,能够帮助我们解决什么问题,以及 hadoop 的使用场景等。在有了整体上的了解后,就可以开始系统的学习 hadoop 。当然,若是能够结合一些实践性的东西学习会更有助于理解 hadoop 。

学习 hadoop 需要什么基础:

Linux :

①  需要能够熟练操作 linux 常用命令以及网络配置;

②  熟悉用户以及权限管理操作;

③  需要熟悉软件包以及系统命令管理;

④  还需要学习一下 shell 编程。

Java :

⑤  需要具备一定的 javase 基础知识;

⑥  如果懂 java web 及各种框架知识那就更好了。

虚拟机:

⑦  需要掌握虚拟机;

⑧  需要安装 linux 操作系统

⑨  需要配置虚拟机网络

除了上述这几个方面,我们还需要了解 hadoop 的单机模式、伪分布模式和分布式模式的搭建方式。 了解 MapReduce 分布式计算框架、 Yarn 集群资源管理和调度平台、 hdfs 分布式文件系统、 hive 数据仓库、 HBase 实时分布式数据库、 Flume 日志收集工具、 sqoop 数据库 ETL 工具、 zookeeper 分布式协作服务、 Mahout 数据挖掘库等。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网站名称:学hadoop需要什么基础-创新互联
文章链接:http://scyanting.com/article/dessoc.html