Spark MLlib概述
创始人
2024-05-31 11:33:57
0

Spark MLlib概述

  • 机器学习
  • 房价预测
    • 模型选型
    • 数据探索
    • 数据提取
    • 准备训练样本
    • 模型训练
    • 模型效果评估

机器学习

机器学习的过程 :

  1. 基于历史数据,机器会根据一定的算法,尝试从历史数据中挖掘并捕捉出一般规律
  2. 再把找到的规律应用到新产生的数据中,从而实现在新数据上的预测与判断

在这里插入图片描述

机器学习(Machine Learning): 一种计算过程:

  1. 对于给定的训练数据(Training samples),选择一种先验的数据分布模型(Models)
  2. 借助优化算法(Learning Algorithms)自动地持续调整模型参数(Model Weights / Parameters)
  3. 让模型不断逼近训练数据的原始分布

模型训练 (Model Training) : 调整模型参数的过程

  • 根据优化算法,基于过往的计算误差 (Loss),优化算法以不断迭代的方式,自动地对模型参数进行调整
  • 模型训练时 ,触发了收敛条件 (Convergence Conditions) ,就结束模型的训练过程

模型测试 (Model Testing) :

  • 模型训练完成后,会用一份新的数据集 (Testing samples),来测试模型的预测能力,来验证模型的训练效果

机器学习开发步骤 :

  1. 数据加载 : SparkSession read API
  2. 数据提取 : DataFrame select 算子
  3. 数据类型转换 : DataFrame withColumn + cast 算子
  4. 生成特征向量 : VectorAssembler 对象及 transform 函数
  5. 数据集拆分 : DataFrame 的 randomSplit 算子
  6. 线性回归模型定义 : LinearRegression 对象及参数
  7. 模型训练 : 模型 fit 函数
  8. 训练集效果评估 : 模型 summaray 函数

房价预测

房屋数据中的不同文件 :

在这里插入图片描述

模型选型

机器学习分类 :

  • 拟合能力 : 有线性模型 , 非线性模型
  • 预测标 : 回归、分类、聚类、挖掘
  • 模型复杂度 : 经典算法、深度学习
  • 模型结构 : 广义线性模型、树模型、神经网络

房价预测的预测标的(Label)是房价,而房价是连续的数值型字段,所以用回归模型(Regression Model)来拟合数据

数据探索

要想准确预测房价,就要先确定那些属性对房价的影响最大

  • 模型训练时,要选择那些影响大的因素,剔除那些影响小的干扰项
  • 数据特征 (Features) : 预测标的相关的属性
  • 特征选择 (Features Selection) : 选择有效特征的过程

特征选择时 , 先查看 Schema

import org.apache.spark.sql.DataFrameval rootPath: String = _
val filePath: String = s"${rootPath}/train.csv"// 从CSV文件创建DataFrame
val trainDF: DataFrame = spark.read.format("csv")
.option("header", true).load(filePath)trainDF.show
trainDF.printSchema

数据提取

选择对房价影响大的特征,要计算每个特征与房价之间的相关性

从 CSV 创建 DataFrame,所有字段的类型默认都是 String

  • 训练模型时,只计算数值型数据 , 所以要把所有字段都转为整型
import org.apache.spark.sql.types.IntegerType// 提取用于训练的特征字段与预测标的(房价SalePrice)
val selectedFields: DataFrame = trainDF.select("LotArea", "GrLivArea", "TotalBsmtSF", "GarageArea", "SalePrice");// 将所有字段都转换为整 型Int
val typedFields = selectedFields.withColumn("LotAreaInt",col("LotArea").cast(IntegerType)).drop("LotArea").withColumn("GrLivAreaInt",col("GrLivArea").cast(IntegerType)).drop("GrLivArea").withColumn("TotalBsmtSFInt",col("TotalBsmtSF").cast(IntegerType)).drop("TotalBsmtSF").withColumn("GarageAreaInt",col("GarageArea").cast(IntegerType)).drop("GarageArea").withColumn("SalePriceInt",col("SalePrice").cast(IntegerType)).drop("SalePrice")typedFields.printSchema
/** 结果打印
root
|-- LotAreaInt: integer (nullable = true)
|-- GrLivAreaInt: integer (nullable = true)
|-- TotalBsmtSFInt: integer (nullable = true)
|-- GarageAreaInt: integer (nullable = true)
|-- SalePriceInt: integer (nullable = true)
*/

准备训练样本

把要训练的多个特征字段,捏合成一个特征向量(Feature Vectors)

import org.apache.spark.ml.feature.VectorAssembler// 待捏合的特征字段集合
val features: Array[String] = Array("LotAreaInt", "GrLivAreaInt", "TotalBsmtSFInt", "GarageAreaInt", "SalePriceInt")// 准备“捏合器”,指定输入特征字段集合,与捏合后的特征向量字段名
val assembler = new VectorAssembler().setInputCols(features).setOutputCol("featuresAdded")// 调用捏合器的transform函数,完成特征向量的捏合
val featuresAdded: DataFrame = assembler.transform(typedFields).drop("LotAreaInt").drop("GrLivAreaInt").drop("TotalBsmtSFInt").drop("GarageAreaInt")featuresAdded.printSchema                         
/** 结果打印
root
|-- SalePriceInt: integer (nullable = true)
|-- features: vector (nullable = true) // 注意,features的字段类型是Vector
*/

把训练样本按比例分成两份 : 一份用于模型训练,一份用于初步验证模型效果

  • 将训练样本拆分为训练集和验证集
val Array(trainSet, testSet) = featuresAdded.randomSplit(Array(0.7, 0.3))

模型训练

用训练样本来构建线性回归模型

import org.apache.spark.ml.regression.LinearRegression// 构建线性回归模型,指定特征向量、预测标的与迭代次数
val lr = new LinearRegression().setLabelCol("SalePriceInt").setFeaturesCol("features").setMaxIter(10)// 使用训练集trainSet训练线性回归模型
val lrModel = lr.fit(trainSet)

迭代次数 :

  • 模型训练是一个持续不断的过程,训练过程会反复扫描同一份数据
  • 以迭代的方式,一次次地更新模型中的参数(Parameters, 权重, Weights),直到模型的预测效果达到一定的标准,才能结束训练

标准的制定 :

  • 对于预测误差的要求 : 当模型的预测误差 < 预先设定的阈值时,模型迭代就收敛、结束训练
  • 对于迭代次数的要求 : 不论预测误差是多少,只要达到设定的迭代次数,模型训练就结束

烘焙/模型训练的对比 :

在这里插入图片描述

完成模型的训练过程

import org.apache.spark.ml.regression.LinearRegression// 构建线性回归模型,指定特征向量、预测标的与迭代次数
val lr = new LinearRegression().setLabelCol("SalePriceInt").setFeaturesCol("features").setMaxIter(10)// 使用训练集trainSet训练线性回归模型
val lrModel = lr fit(trainSet)

模型效果评估

在线性回归模型的评估中,有很多的指标,用来量化模型的预测误差

  • 最具代表性 : 均方根误差 RMSE(Root Mean Squared Error),用 summary 能获取模型在训练集上的评估指标
val trainingSummary = lrModel.summaryprintln(s"RMSE: ${trainingSummary.rootMeanSquaredError}")
/** 结果打印
RMSE: 45798.86
*/

房价的值域在(34,900,755,000)之间,而预测是 45,798.86 。这说明该模型是欠拟合的状态

相关内容

热门资讯

年终晚会主持词 年终晚会主持词范文集锦五篇  主持词是主持人在节目进行过程中用于串联节目的串联词。我们眼下的社会,主...
建筑理事会闭幕讲话 建筑理事会闭幕讲话  欢迎来到CN人才网,下面是小编精心为大家整理的建筑理事会闭幕讲话,希望对大家有...
新郎父亲在婚礼上的致辞 新郎父亲在婚礼上的致辞各位领导,各位亲朋好友,两位亲家:  上午好!今天,在儿子新婚之喜的时刻,借助...
通用主持词 通用主持词十篇  主持词要注意活动对象,针对活动对象写相应的主持词。在当今中国社会,主持词与我们不再...
首届文化节闭幕式主持词 首届文化节闭幕式主持词  活动对象的不同,主持词的写作风格也会大不一样。在一步步向前发展的社会中,各...
启动仪式主持词 启动仪式主持词(精选12篇)  由主持人于节目进行过程中串联节目的串联词。如今的各种演出活动和集会中...
员工大会主持词结束语分享 员工大会主持词结束语分享  一、 整理队形  徐:请各部门赶快入场,按指示牌站整齐。  二、 准备开...
班级毕业晚会主持词 班级2021年毕业晚会主持词  主持人在台上表演的灵魂就表现在主持词中。在当下的中国社会,司仪等是很...
白事主持词 白事主持词  主持词没有固定的格式,他的最大特点就是富有个性。在各种集会、活动不断增多的社会,主持成...
领导证婚人婚礼精彩致辞 领导证婚人婚礼精彩致辞(通用13篇)  在平平淡淡的学习、工作、生活中,大家都不可避免地要接触到致辞...
儿童节主持词 儿童节主持词(精选15篇)  主持人在台上表演的灵魂就表现在主持词中。现今社会在不断向前发展,主持人...
追悼会的主持词 关于追悼会的主持词范文(精选11篇)  根据活动对象的不同,需要设置不同的主持词。时代不断在进步,主...
《香水》经典台词 《香水》经典台词  在学习、工作生活中,越来越多人会去使用台词,台词起着交代人物关系和背景、进行剧情...
公司年会晚会主持词2019   公司年会晚会主持词2019【一】  甲(女):尊敬的曾总、王书记,亲爱的各位同事,  合:大家好...
学校元旦晚会主持稿开场白 学校元旦晚会主持稿开场白  主持词并没有固定的格式或者模板,个性就是主持词的特点。不同内容的活动,不...
乔迁之喜主持词 乔迁之喜主持词(通用13篇)  契合现场环境的主持词能给集会带来双倍的效果。在如今这个时代,我们对主...
小学元旦晚会主持词 有关小学元旦晚会主持词(通用8篇)  主持词已成为各种演出活动和集会中不可或缺的一部分。现今社会在不...
电视剧《神话》:台词非常雷人 电视剧《神话》:台词非常雷人  1:你是北电、中戏还是上戏  2:幸亏我那天在看完仙剑之后还不忘关注...
双簧剧本台词 双簧剧本台词双簧剧本台词如此双簧道具:椅子一把,化装白油彩,浸满水的手绢一条(开场,甲从舞台左边上场...
大会主持词 大会主持词15篇  活动对象的不同,主持词的写作风格也会大不一样。在当今社会生活中,司仪等是很多场合...