hadoop2.7+Spark1.4环境如何搭建

这篇文章主要为大家展示了“hadoop2.7+Spark1.4环境如何搭建”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop2.7+Spark1.4环境如何搭建”这篇文章吧。

创新互联提供高防服务器租用、云服务器、香港服务器、成都IDC机房托管

一、hadoop伪分布式搭建

    其实官网有比较详实的说明,英语好的可以直接看官网,地址

    1、安装JDK1.7

        这个省略,官网显示1.6可以,但是我用openjdk1.6出了异常,JDK1.6没试,直接用了JDK1.7

        配置好环境变量

vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_79
export CLASSPATH=.:$JAVE_HOME/lib.tools.jar
export PATH=$PATH:$JAVA_HOME/bin

   添加完后执行命令使配置生效

source /etc/profile
    2、安装ssh、rsync,(以ubuntu为例)
  $ sudo apt-get install ssh
  $ sudo apt-get install rsync
    3、下载hadoop编译包,镜像地址(国内镜像竟然比US的还慢,不能忍,注意2.7的编译包为64位)

    查是32还是64位的办法

cd hadoop-2.7.0/lib/native
file libhadoop.so.1.0.0
hadoop-2.7.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, AMD x86-64, version 1 (SYSV), not stripped
    4、配置环境变量

    hadoop配置文件指定java路径

    etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_79

  系统环境变量

export HADOOP_HOME=/usr/local/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

  后两条不加会出现

You have loaded library /usr/hadoop/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.

It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'.

  添加完后执行命令使配置生效

source /etc/profile

  执行命令查看是否成功

hadoop version
    5、修改hadoop配置文件 

     etc/hadoop/core-site.xml:


    
        fs.defaultFS
        hdfs://localhost:9000
    

     etc/hadoop/hdfs-site.xml:


    
        dfs.replication
        1
    
     6、设置hadoop ssh无密码访问
  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  $ export HADOOP\_PREFIX=/usr/local/hadoop-2.7.0
    7、格式化节点和启动hadoop
$ bin/hdfs namenode -format
$ sbin/start-dfs.sh

    打开浏览器 http://localhost:50070/看是否成功

    hdfs配置:username最好和当前用户名相同,不然会可能出现权限问题

  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/
     8、yarn配置

     etc/hadoop/mapred-site.xml:


    
        mapreduce.framework.name
        yarn
    

    etc/hadoop/yarn-site.xml:


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    启动yarn

$ sbin/start-yarn.sh

    http://localhost:8088/查看是否成功

    至此hadoop单节点伪分布式安装配置完成

二、spark安装配置

spark的安装相对就要简单多了

1、首先下载,地址

hadoop2.7+Spark1.4环境如何搭建

因为我之前已经有hadoop了所以选择第二个下载

2、下载解压后进入目录
cd conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
vi conf/spark-env.sh

最后添加

export HADOOP_HOME=/usr/local/hadoop-2.7.0

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

最后一个需要hadoop添加了环境变量才行。

官网配置中没有前两个配置,我运行例子时总报错,找不到hdfs jar 包。

3、回到解压目录运行示例
./bin/run-example SparkPi 10

成功则到此配置完成

以上是“hadoop2.7+Spark1.4环境如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


本文标题:hadoop2.7+Spark1.4环境如何搭建
网站网址:http://scyanting.com/article/pogioo.html