Spark提交任务-创新互联

1. Spark提交任务

创新互联长期为1000多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为遂平企业提供专业的成都做网站、成都网站制作,遂平网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

./spark-submit --class "com.prime.dsc.mention.main.WordCountForSpark" --master spark://DEV-HADOOP-01:7077 /data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar

2. Spark本地运行

SparkConf sparkConf = new SparkConf().setAppName("wordCountForSpark").setMaster("local");

3. Myeclipse打Jar包

  1) Maven clean

  2) Maven install

  3) 在target目录下拷贝.jar文件即是需要的Jar包

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文名称:Spark提交任务-创新互联
文章地址:http://scyanting.com/article/ceddsp.html