Hadoop1.2.1集群如何搭建

这篇文章主要为大家展示了“Hadoop1.2.1集群如何搭建”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hadoop1.2.1集群如何搭建”这篇文章吧。

创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于成都网站设计、成都网站制作、外贸网站建设、和田县网络推广、微信小程序定制开发、和田县网络营销、和田县企业策划、和田县品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供和田县建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com

Hadoop集群搭建(-v1.2.1)

1. 官网下载安装包(版本: 1.2.1)2. 安装依赖

  • Java 和 ssh

3. 解压安装包,添加HADOOP_HOME变量到/etc/profile4. 搭建集群

  1. 机器规划(三台小集群)

主机名IPNodeTracker
master192.168.10.1NameNodeJobTracker
slave1192.168.10.1DateNodeTaskTracker
slave2192.168.10.2DateNodeTaskTracker
slave3192.168.10.3DateNodeTaskTracker

  1. 在三台机器上创建相同的用户: hadoop

  2. 在三台机器上分别配置/etc/hosts

192.168.10.1 master slave1 192.168.10.2 slave2 192.168.10.3 slave3

  1. 在三台机器上建立ssh-key,并设置免密码登陆

    $ ssh-keygen -t dsa
    $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys

authorized_keys文件内容复制到另外两台主机的~/ssh/authorized_keys文件中 5. 将Hadoop安装包复制到三台机器中,修改Hadoop中的配置文件 - conf/Hadoop-env.sh export JAVA_HOME=path-to-jdk - conf/core-site.xml xml fs.default.name hdfs://master:9000 hadoop.tmp.dir /var/tmp/hadoop - conf/hdfs-site.xml xml dfs.repliation 3 - conf/mapred-site.xml xml mapred.job.tracker hdfs://master:9001 - conf/master master - conf/slave text slave1 slave2 slave3

5. 启动Hadoop服务

$ bin/hadoop namenode -format  #格式化hdfs
$ bin/start-all.sh  # 启动所有进程
查看集群状态:
http://localhost:50030  # MapReduce的Web页面
http://localhost:50070  # HDFS的Web页面
或
$ hadoop dfsadmin -report

6. 停止Hadoop服务bin/stop-all.sh

以上是“Hadoop1.2.1集群如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


网页标题:Hadoop1.2.1集群如何搭建
当前网址:http://scyanting.com/article/jhhhid.html