如何进行SparkJob动态分配资源的分析
本篇文章为大家展示了如何进行Spark Job 动态分配资源的分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
创新互联公司长期为上千多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为桃城企业提供专业的成都网站设计、成都网站建设,桃城网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。
项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时,thrift-server 需要分配大量的资源,当不需要查询时分配当量的资源又显得非常浪费,因此想到是否有可能动态分配资源。
(thrift-server也是一个job(yarn app),因此这种方法同样适用于一般的spark job)。
目前动态资源分配只适合spark on yarn,配置方式如下。
yarn node manager 配置
修改所有节点yarn node-manager配置,在$HADOOP_HOME/etc/hadoop/yarn-site.xml
中添加:
yarn.nodemanager.aux-services.spark_shuffle.class org.apache.spark.network.yarn.YarnShuffleService spark.shuffle.service.port 7337
将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar
copy到 $HADOOP_HOME/share/hadoop/yarn/lib
目录下。
重启yarn。
spark-default配置
修改 $SPARK_HOME/conf/spark-default.conf
文件,添加以下内容:
spark.shuffle.service.enabled true spark.shuffle.service.port 7337 spark.dynamicAllocation.enabled true spark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60
验证
这里使用spark中内置的thrift-server验证。
启动thrift-server,只配置 --executor-memory
参数。sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配,当有并发查询或者查询压力比较大时,会申请更多的executor,空闲时回收。
上述内容就是如何进行Spark Job 动态分配资源的分析,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
网页标题:如何进行SparkJob动态分配资源的分析
新闻来源:http://scyanting.com/article/jhdicg.html