hadoop2.6的配置及优化方法
这篇文章主要介绍“hadoop2.6的配置及优化方法”,在日常操作中,相信很多人在hadoop2.6的配置及优化方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”hadoop2.6的配置及优化方法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
创新互联是一家专注于网站制作、做网站与策划设计,拜泉网站建设哪家好?创新互联做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:拜泉等地区。拜泉做网站价格咨询:028-86922220
1.vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.7.0_75
2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml
注:spore为机器的hostname
3.vi /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
4.vi /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml
5.vi /opt/hadoop-2.6.0/etc/hadoop/slaves
添加slave的hostname
优化:
尽量使用combiner减少键值对数目,本地合并键值对,减少网络传输,优化效果明显
调大mapreduce中间结果缓存的内存
巧用复合键让系统完成排序,不必要自己实现排序
到此,关于“hadoop2.6的配置及优化方法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
本文题目:hadoop2.6的配置及优化方法
网站网址:http://scyanting.com/article/gejsip.html