spark跑1T数据需要多少内存
这篇文章主要介绍“spark跑1T数据需要多少内存”,在日常操作中,相信很多人在spark跑1T数据需要多少内存问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”spark跑1T数据需要多少内存”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
为偃师等地区用户提供了全套网页设计制作服务,及偃师网站建设行业解决方案。主营业务为成都网站设计、网站制作、偃师网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
Q1:jobserver 企业使用情况如何?
中国有一家视频网站已经使用超过JobServer超过半年的时间;
2013年和2014年Spark Summit均大力推荐使用JobServer;
Q2:请问,jobserver是适合企业内部还是供外部客户使用(可能并发、安全有要求),还是两者ok?
目前可见的企业使用案例均是用在企业内部;
如果是企业外部可以作为云服务或者大数据资源池使用;
Q3:请问,spark 跑1T数据需要多少内存才能很快跑完
这首先和程序运行时候在每台Worker上使用的内存和CPU有关,提交程序的时候可以手动配置;
其次是和带宽有关系,Shuffle的要尽量减少数据;
Driver所在的机器的配置也是极为重要的,一般而言Driver所在的Client的内存和CPU根据实际情况要尽可能的更高的配置,同时,也是至关重要的Driver和Spark集群要在同一个网络环境,应为Driver要不断的task给Worker上的Executor,同时接受Driver的数据;
Q4:我目前是解决stackoverflow Error 是用checkPoint解决lineage过长的问题 但是这样会影响效率 怎样在效率和error之间均衡呢?
:StackOverflow可以通过配置BlockManager内存管理策略来缓解;
对于checkpoint,要根据实际情况调整,例如对于Spark Streaming 默认是在内存有两份数据副本,此时如果处理能力无法及时消费实时流数据,就会极为容易产生StackOverflow的情况,此时就要根据实际情况调整时间窗口和进行checkpoint;
到此,关于“spark跑1T数据需要多少内存”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
网站标题:spark跑1T数据需要多少内存
文章转载:http://scyanting.com/article/jdeodh.html