大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

spark01--scala的wordcount的过程是怎样的

今天就跟大家聊聊有关spark01--scala 的wordcount的过程是怎样的,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于成都网站设计、网站制作、萍乡网络推广、成都小程序开发、萍乡网络营销、萍乡企业策划、萍乡品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联公司为所有大学生创业者提供萍乡建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

第一版:原始版本

def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("workcount")
    conf.setMaster("local")

    //SparkContext 是通往spark 集群的唯一通道
    val sc = new SparkContext(conf)

    /** 加载配置当前项目下words文件的内容
      * 内容为:
        hello java
        hello spark
        hello hdfs
        hello mr
        hello java
        hello spark
      */
    val lines = sc.textFile("./words")
    //line为每一行,每一行经过" "空格切分成RRD类型
    val lists: RDD[String] = lines.flatMap(line => {line.split(" ")})
    //单词转换成二元元组
    val values: RDD[(String, Int)] = lists.map(word=>{new Tuple2(word,1)})
    /**
      * reduceByKey 函数是先把相同的单词(key)进行分组,如
      hello 1
      hello 1
      hello 1
      hello 1
      hello 1
      hello 1

      java 1
      java 1

      spark 1
      spark 1

      hdfs 1
      mr 1

      (v1:Int, v2:Int)=>{v1+v2} 表示经过分组后的单词元组(Sring,Int),相同key的 value进行累加,返回v1+v2 就是累加的值
      */
    val result: RDD[(String, Int)] = values.reduceByKey((v1:Int, v2:Int)=>{v1+v2})
    //遍历结果
    result.foreach(println)
    //关闭
    sc.stop()
  }

第二版:

 def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("workcount")
    conf.setMaster("local")

    val sc = new SparkContext(conf)
    val result = sc.textFile("./words").flatMap(line=>line.split(" ")).map(world=>new Tuple2(world,1)).reduceByKey((v1:Int, v2:Int)=>{v1+v2})

    result.foreach(println)
    sc.stop()

  }

第三版本:最简版本

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("workcount")
    conf.setMaster("local")

    val sc = new SparkContext(conf)
    val result = sc.textFile("./words").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)

    result.foreach(println)
    sc.stop()
  }

简化后解释:

xxx.flatMap(line=>line.split(" "))中参数line只在=>后面使用一次,可以用 "_" 符号来表示该参数,xxx.flatMap(_.split(" "))

xxx.map(world=>new Tuple2(world,1))中world参数也是在=>后只使用一次,可以使用 "_"来表示,元组可以省略new,也可以省略Tuple2,xxx.map((_,1))

xxx.reduceByKey((v1:Int, v2:Int)=>{v1+v2})中v1,v2也是在=>后只使用一次,均可以使用"_"来表示,xxx.reduceByKey((_+_)

看完上述内容,你们对spark01--scala 的wordcount的过程是怎样的有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


网站栏目:spark01--scala的wordcount的过程是怎样的
网页链接:http://dzwzjz.com/article/pggsjj.html
在线咨询
服务热线
服务热线:028-86922220
TOP