如何使用docker快速搭建Spark集群
这篇文章主要介绍了如何使用docker快速搭建Spark集群的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇如何使用docker快速搭建Spark集群文章都会有所收获,下面我们一起来看看吧。
10年积累的成都网站设计、网站制作、外贸营销网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站设计后付款的网站建设流程,更有成县免费网站建设让你可以放心的选择与我们合作。
准备工作
安装docker
(可选)下载java和spark with hadoop
spark集群
spark运行时架构图
如上图: spark集群由以下两个部分组成
集群管理器(mesos, yarn或者standalone mode)
工作节点(worker)
如何docker化(本例使用standalone模式)
1、将spark集群拆分
base(基础镜像)
master(主节点镜像)
worker(工作镜像)
2、编写base dockerfile
注: 为方便切换版本基础镜像选择的是centos, 所以要下载java和spark, 方便调试, 可以下载好安装文件后本地搭建一个静态文件服务器, 使用node.js 的可以快速搞定
命令如下
npm install http-server -g http-server -p 54321 ~/downloads
正式开始写dockerfile
from centos:7 maintainer ravenzz# 安装系统工具 run yum update -y run yum upgrade -y run yum install -y byobu curl htop man unzip nano wget run yum clean all # 安装 java env jdk_version 8u11 env jdk_build_version b12 # 如果网速快,可以直接从源站下载 #run curl -lo "http://download.oracle.com/otn-pub/java/jdk/$jdk_version-$jdk_build_version/jdk-$jdk_version-linux-x64.rpm" -h 'cookie: oraclelicense=accept-securebackup-cookie' && rpm -i jdk-$jdk_version-linux-x64.rpm; rm -f jdk-$jdk_version-linux-x64.rpm; run curl -lo "http://192.168.199.102:54321/jdk-8u11-linux-x64.rpm" && rpm -i jdk-$jdk_version-linux-x64.rpm; rm -f jdk-$jdk_version-linux-x64.rpm; env java_home /usr/java/default run yum remove curl; yum clean all workdir spark run \ curl -lo 'http://192.168.199.102:54321/spark-2.1.0-bin-hadoop2.7.tgz' && \ tar zxf spark-2.1.0-bin-hadoop2.7.tgz run rm -rf spark-2.1.0-bin-hadoop2.7.tgz run mv spark-2.1.0-bin-hadoop2.7/* ./ env spark_home /spark env path /spark/bin:$path env path /spark/sbin:$path
3、编写master dockerfile
from ravenzz/spark-hadoop maintainer ravenzzcopy master.sh / env spark_master_port 7077 env spark_master_webui_port 8080 env spark_master_log /spark/logs expose 8080 7077 6066 cmd ["/bin/bash","/master.sh"]
4、编写worker dockerfile
from ravenzz/spark-hadoop maintainer ravenzzcopy worker.sh / env spark_worker_webui_port 8081 env spark_worker_log /spark/logs env spark_master "spark://spark-master:32769" expose 8081 cmd ["/bin/bash","/worker.sh"]
5、docker-compose
version: '3' services: spark-master: build: context: ./master dockerfile: dockerfile ports: - "50001:6066" - "50002:7077" # spark_master_port - "50003:8080" # spark_master_webui_port expose: - 7077 spark-worker1: build: context: ./worker dockerfile: dockerfile ports: - "50004:8081" links: - spark-master environment: - spark_master=spark://spark-master:7077 spark-worker2: build: context: ./worker dockerfile: dockerfile ports: - "50005:8081" links: - spark-master environment: - spark_master=spark://spark-master:7077
6、测试集群
docker-compose up
访问http://localhost:50003/ 结果如图
关于“如何使用docker快速搭建Spark集群”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“如何使用docker快速搭建Spark集群”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注创新互联行业资讯频道。
网页名称:如何使用docker快速搭建Spark集群
文章URL:http://scyanting.com/article/ipecei.html