机器学习-（手推）线性回归3-正则化-岭回归（Ridge）-频率角度贝叶斯角度

创始人

2024-02-27 00:01:51

0次

一、正则化-岭回归-频率角度

回顾：

Loss Function：

过拟合的解决方法：

①最直接：加数据

②降维（特征选择/特征提取（PCA））

③正则化（对参数空间，例如w的约束）

正则化的框架：

$L(w) + \lambda P(w)$

（L(w)：Loss Function λ：惩罚系数 P(w)：penalty(惩罚项)）

即优化的目标为： $argmin[L(w) + \lambda P(w)]$

若为 $L_{1}$ 正则化：Lasso回归 P(w) = $||w||_{1}$

若为 $L_{2}$ 正则化：岭回归 P(w) = $||w||_{2}$ = $w^{T}w$

(备注 $L_{2}$ 正则化又叫权重衰减)

优化目标函数：

接下来就对J(w)求极值计算w的最优值：

目标： $w\hat{} = argminJ(w)$

过程：

$\frac{\partial J(w)}{\partial x} = 2(X^{T}X + \lambda E)\omega - 2X^{T}Y=0$

$(X^{T}X + \lambda E)\omega =X^{T}Y$

$\omega \hat{} = (X^{T}X + \lambda E)^{-1}X^{T}Y$ （岭回归下得到的解析解）

二、正则化-岭回归-贝叶斯角度

回顾：

目标： argmaxP(y|w)*P(w)

结论：

①无正则化：最小二乘法（LSE） 等价于 最大似然估计（MLE）-（noise服从高斯分布）

② $L_{2}$ 正则化：Regularized LSE 等价于 最大后验估计（MAP）-（noise服从高斯分布）

上一篇： 我拥有我快乐的优秀作文

下一篇：DCHP通讯协议

热门资讯

企业开工仪式致辞企业开工仪式致辞（精选7篇）　　在平时的学习、工作或生活中，大家都不可避免地会接触到致辞吧，致辞是指...

小学第二学期的开学典礼主持词小学第二学期的开学典礼主持词　　主持词已成为各种演出活动和集会中不可或缺的一部分。在当今中国社会，各...

升学宴主持词升学宴主持词3篇　　高考过后考生及家长需要考虑举办升学宴会酒席的事宜了，升学宴主持词怎么写?下面是小...

同学聚会致辞同学聚会致辞（精选6篇）　　在生活、工作和学习中，大家都尝试过写致辞吧，在各种重大的庆典、外交、纪念...

升学宴会主持词升学宴会主持词9篇　　主持人在台上表演的灵魂就表现在主持词中。在当今社会中，各种场合中活跃现场气氛的...

早会主持词早会主持词范文4篇　　早会能对一天或是一周亦或是一个月的工作作出及时的总结和临时性的调整，在工作中有...

服装展示主持词示例服装展示主持词示例　　篇一：服装展示串词　　龙蓓　　1、现在出场的是宾馆总台接待，为大家作展示的是...

重阳节主持词重阳节主持词（精选13篇）　　主持词分为会议主持词、晚会主持词、活动主持词、婚庆主持词等。在人们越来...

商场活动主持词　　商场活动主持词　　亲爱的顾客朋友：　　大家下午好!　　“金猪报捷去，玉鼠送春来”。欢迎大家在这个...

主婚人简短婚礼致辞主婚人简短婚礼致辞　　结婚是件大事，那么主婚人如何向新人们致辞呢?怎么做致辞才简短又大气呢?下面我们...

六一儿童节活动主持词六一儿童节活动主持词集锦　　众所周知，六一儿童节是孩子们开心玩耍的节日。小编今天为大家带来六一儿童节...

公司会抽奖环节主持词公司会抽奖环节主持词　　根据活动对象的不同，需要设置不同的主持词。在现在的社会生活中，司仪等是很多场...

迎新年晚会主持词 2022迎新年晚会主持词例文（精选11篇）　　过去的一年，对于我们每一个中国人来说都是难忘的一年，我...

女儿出嫁父亲婚礼致辞女儿出嫁父亲婚礼致辞范文（通用13篇）　　无论是在学校还是在社会中，大家总少不了要接触或使用致辞吧，...

结婚当天新娘的致辞结婚当天新娘的致辞（精选8篇）　　新人致辞是婚礼上不可缺少的重要环节，那么如何表达能显得既大方得体...

毕业典礼主持词毕业典礼主持词(合集15篇)　　主持人在台上表演的灵魂就表现在主持词中。在当今不断发展的世界，主持成...

新婚回门的宴会主持词新婚回门的宴会主持词尊敬的各位来宾：　　大家好！　　今天是20XX年2月13日，农历：乙卯年正月十一...

春季订货会的主持词春季订货会的主持词各位领导、各位经理、来宾、朋友们：　　今天我们相聚在这里，共同迎来了四海商贸公司的...

电影《画壁》经典台词电影《画壁》经典台词　　1、牡丹：如果我愿意跟你一起走，你会和我一生一世吗？　　2、牡丹：没有爱会...

中秋对客户的感谢词中秋对客户的感谢词亲爱的客户朋友们:　　金秋九月,硕果累累,又是一年一度的中秋佳节,又是一年一度的月...