spark中读取elasticsearch数据的方法
本篇内容介绍了“ spark中读取elasticsearch数据的方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
为桓台等地区用户提供了全套网页设计制作服务,及桓台网站建设行业解决方案。主营业务为成都网站建设、网站建设、桓台网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
在spark中读取es的数据
pom.xml
4.0.0 com.test spark 0.0.1-SNAPSHOT jar UTF-8 2.11.6 2.11.6 org.apache.spark spark-core_2.10 1.3.1 org.elasticsearch elasticsearch-spark_2.10 2.1.0.Beta4 src/main/scala src/test/scala org.scala-tools maven-scala-plugin 2.15.2 compile ${scala.version} maven-assembly-plugin 2.4 true jar-with-dependencies make-assembly package single
esRDDTest.scala
package spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.elasticsearch.spark._ object esRDDTest { def main(args: Array[String]) { val conf = new SparkConf().setAppName("esRDDtest") conf.set("es.nodes", "127.0.0.1") conf.set("es.port", "8200") val sc = new SparkContext(conf) val resource = args(0) val query = args(1) val eslogs = sc.esRDD(resource, query) //…… } }
“ spark中读取elasticsearch数据的方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
网页名称:spark中读取elasticsearch数据的方法
转载注明:http://scyanting.com/article/ppegse.html