大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
如何分析spark-mlib的线性回归,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
目前创新互联建站已为近千家的企业提供了网站建设、域名、网页空间、网站托管维护、企业网站设计、贡井网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.SQLContext import org.apache.spark.ml.regression.LinearRegression object SparkMlib { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("mlib").setMaster("local") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36))) val cols = Array("x1","x2") val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict") import sqlContext.implicits._ val x = vectors.transform(rdd.toDF("x1","x2","y")) val model = new LinearRegression() //自变量的数据名 .setFeaturesCol("predict") //因变量 .setLabelCol("y") //是否有截距 .setFitIntercept(false) //训练模型 .fit(x) //线性回归的系数 println(model.coefficients) //线性回归的截距 println(model.intercept) //线性回归的自变量的个数 println(model.numFeatures) //上面的feature列 println(model.summary.featuresCol) //r2 println(model.summary.r2) //平均绝对误差 println(model.summary.meanAbsoluteError) //方差 println(model.summary.meanSquaredError) //新的集合x1,x2 预测y val testRdd = context.makeRDD(List((1,3),(2,6),(3,9),(4,12))) //根据上面的模型预测结果 val testSet = vectors.transform(testRdd.toDF("x1","x2")) val pre = model.transform(testSet) pre.show() //println(pre.predictions) } }
关于如何分析spark-mlib的线性回归问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。