如何分析spark-mlib的线性回归

如何分析spark-mlib的线性回归，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.sql.SQLContextimport org.apache.spark.ml.regression.LinearRegressionobject SparkMlib {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("mlib").setMaster("local")        val context = new SparkContext(conf)    val sqlContext = new SQLContext(context)        val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36)))    val cols = Array("x1","x2")    val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict")        import sqlContext.implicits._    val x = vectors.transform(rdd.toDF("x1","x2","y"))        val model = new LinearRegression()                    //自变量的数据名                    .setFeaturesCol("predict")                    //因变量                    .setLabelCol("y")                    //是否有截距                    .setFitIntercept(false)                    //训练模型                    .fit(x)                         //线性回归的系数                   println(model.coefficients)     //线性回归的截距     println(model.intercept)     //线性回归的自变量的个数     println(model.numFeatures)     //上面的feature列     println(model.summary.featuresCol)     //r2     println(model.summary.r2)     //平均绝对误差     println(model.summary.meanAbsoluteError)     //方差     println(model.summary.meanSquaredError)     //新的集合x1,x2 预测y     val testRdd  = context.makeRDD(List((1,3),(2,6),(3,9),(4,12)))     //根据上面的模型预测结果     val testSet = vectors.transform(testRdd.toDF("x1","x2"))     val pre = model.transform(testSet)         pre.show()     //println(pre.predictions)      }}

关于如何分析spark-mlib的线性回归问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注编程网行业资讯频道了解更多相关知识。