spark安装配置
在装spark之前先装Scala Scala 的安装在hadoop安装配置中已经介绍了
目前成都创新互联公司已为1000多家的企业提供了网站建设、域名、虚拟空间、成都网站托管、企业网站设计、上高网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
1、下载spark安装包 下载地址如下
http://spark.apache.org/downloads.html
我选择的是
spark-1.4.1-bin-hadoop2.6.tgz 放在/root/software
解压
tar zxvf spark-1.4.1-bin-hadoop2.6.tgz
2、配置系统环境变量
vim /etc/profile
export SPARK_HOME=/root/sherry/spark-1.4.1
export PATH=$SPARK_HOME/bin:$PATH
source /etc/profile
3、配置spark文件
1)[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf
[root@HBMS-DKXD-DEV conf]# vim spark-env.sh
添加如下内容
export SCALA_HOME=/root/sherry/scala-2.10.4
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_IP=10.118.46.22
2)配置slave
我自己没有配置
4、启动集群
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh
关闭
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh
检查是否安装成功
jps
本文标题:spark安装配置
地址分享:http://scyanting.com/article/jijeej.html