大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章给大家介绍基于eclipse开发spark2.0的dataFrame是怎样的,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
成都创新互联服务项目包括科尔沁网站建设、科尔沁网站制作、科尔沁网页制作以及科尔沁网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,科尔沁网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到科尔沁省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
前些天准备研究下spark2.0的spark-sql.
我主要的工具是eclipse
版本是hadoop2.7+spark2.0
废话少说,直接上代码wordcount
import org.apache.spark.sql.SparkSession
import org.apache.spark._
import org.apache.spark.SparkContext._
import scala.io.Source
/**
* Created by Administrator on 2016/7/29 0029.
*/
object wordcount2{
def main(args: Array[String]) {
val sparksession=SparkSession.builder()
.master("local")
.getOrCreate()
import sparksession.implicits._
//val ds=sparksession.read.textFile("hdfs://192.168.153.11:9000/user/spark/a.txt").as[String]
// val ds=sparksession.read.text("file:/D:/a.txt").as[String]
//var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
// val ds=sparksession.sparkContext.textFile(args(0)).toDS()
// val result=ds.flatMap(_.split(" ")).filter(_.length>0).groupBy().count()
val warehouseLocation ="file:/" // "hdfs://192.168.21.8:9000/" //"file:/"
val sparkSession1 = SparkSession.builder().master("local").appName("tst").config("spark.sql.warehouse.dir",warehouseLocation).getOrCreate()
var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
val counts = ds.flatMap(line => line.split(" "))
val words = counts.groupByKey(_.toLowerCase())
val datas = words.count()
datas.show()
//result.show()
//主要注意点是 var ds = sparksession.read.format("text").load("file:/D:/a.txt").as[String];
//这里load的路径要注意
}
}
关于基于eclipse开发spark2.0的dataFrame是怎样的就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。