spark中读取elasticsearch数据的方法

本篇内容介绍了“ spark中读取elasticsearch数据的方法”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

为桓台等地区用户提供了全套网页设计制作服务，及桓台网站建设行业解决方案。主营业务为成都网站建设、网站建设、桓台网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

在spark中读取es的数据

pom.xml

     4.0.0
  
     com.test
     spark
     0.0.1-SNAPSHOT
     jar
  
     
         UTF-8
         2.11.6
         2.11.6
     
  
     
         
             org.apache.spark
             spark-core_2.10
             1.3.1
         
         
         
             org.elasticsearch
             elasticsearch-spark_2.10
             2.1.0.Beta4
         
     
  
     
         src/main/scala
         src/test/scala
         
             
                 org.scala-tools
                 maven-scala-plugin
                 2.15.2
                 
                     
                         
                             compile
                             
                         
                     
                 
                 
                     ${scala.version}
                 
             
             
                 maven-assembly-plugin
                 2.4
                 
                     true
                     
                         jar-with-dependencies
                     
                 
                 
                     
                         make-assembly
                         package
                         
                             single
                         
                     
                 
             
         
     
 

esRDDTest.scala

package spark
  
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
 
object esRDDTest {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("esRDDtest")
        conf.set("es.nodes", "127.0.0.1")
        conf.set("es.port", "8200")
        val sc = new SparkContext(conf)
        val resource = args(0)
        val query = args(1)
        val eslogs = sc.esRDD(resource, query)
        //……
    }
}

“ spark中读取elasticsearch数据的方法”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！