机器学习-（手推）线性回归3-正则化-岭回归（Ridge）-频率角度贝叶斯角度

创始人

2024-02-27 00:01:51

0次

一、正则化-岭回归-频率角度

回顾：

Loss Function：

过拟合的解决方法：

①最直接：加数据

②降维（特征选择/特征提取（PCA））

③正则化（对参数空间，例如w的约束）

正则化的框架：

$L(w) + \lambda P(w)$

（L(w)：Loss Function λ：惩罚系数 P(w)：penalty(惩罚项)）

即优化的目标为： $argmin[L(w) + \lambda P(w)]$

若为 $L_{1}$ 正则化：Lasso回归 P(w) = $||w||_{1}$

若为 $L_{2}$ 正则化：岭回归 P(w) = $||w||_{2}$ = $w^{T}w$

(备注 $L_{2}$ 正则化又叫权重衰减)

优化目标函数：

接下来就对J(w)求极值计算w的最优值：

目标： $w\hat{} = argminJ(w)$

过程：

$\frac{\partial J(w)}{\partial x} = 2(X^{T}X + \lambda E)\omega - 2X^{T}Y=0$

$(X^{T}X + \lambda E)\omega =X^{T}Y$

$\omega \hat{} = (X^{T}X + \lambda E)^{-1}X^{T}Y$ （岭回归下得到的解析解）

二、正则化-岭回归-贝叶斯角度

回顾：

目标： argmaxP(y|w)*P(w)

结论：

①无正则化：最小二乘法（LSE） 等价于 最大似然估计（MLE）-（noise服从高斯分布）

② $L_{2}$ 正则化：Regularized LSE 等价于 最大后验估计（MAP）-（noise服从高斯分布）

上一篇： 我拥有我快乐的优秀作文

下一篇：DCHP通讯协议

热门资讯

伤心的童话作文伤心的童话作文　　导语：童话可以有超乎寻常的想象，靠想象来沟通故事中事物的联系，甚至幻想。所以，故事...

五四青年节作文五四青年节作文800字（精选26篇）　　在现实生活或工作学习中，大家都跟作文打过交道吧，作文是通过文...

babybabybabyoh... babybabybabyoh是哪首歌的歌词　　《Baby》是一首中快节奏的流行歌曲（说唱部分由卢达·...

中秋节主题作文有关中秋节主题作文（通用31篇）　　无论是在学校还是在社会中，大家都经常看到作文的身影吧，作文一定要...

为月饼而战作文为月饼而战作文来了，来了，究竟是什么让人如此期盼——中秋节！中秋节是大人聚会，小孩玩耍的节日，所以无...

我学唱队歌作文350字我学唱队歌作文350字　　昨天下午我请假了去医院冲洗耳朵，心里很紧张很害怕。但帮我冲洗耳朵的护士阿姨...

可笑的作文300字可笑的作文300字八篇　　在日常学习、工作和生活中，大家总少不了接触作文吧，借助作文可以宣泄心中的情...

春节的作文800字关于春节的作文800字合集5篇　　在平时的学习、工作或生活中，大家都写过作文，肯定对各类作文都很熟悉...

一年之计在于春小报一年之计在于春小报一年之计在于春作文俗话说得好：“一年之计在于春”，在一年之中最有生机、最有活力、最...

迎国庆向国旗敬礼活动方案 2020年迎国庆向国旗敬礼活动方案　　又是一年国庆佳节，神州大地繁花似锦，祖国长空乐曲如潮。下面是小...

欢庆六一作文350 欢庆六一作文350六一儿童节是儿童的盛宴。在儿童节里，我们欢庆着属于自己的时光。今天是一年一度的六一...

心若温暖岁月芬芳的经典散文心若温暖岁月芬芳的经典散文　　每个季节都有诗意的芬芳，每段时光都有温情的暖。光阴流转，从朝霞到日落，...

泰国游记作文泰国游记作文泰国游记作文1　　暑假，我们全家人一起去泰国玩，我非常非常开心，我盼了这一天可是好久了。...

尊严作文关于尊严作文（通用30篇）　　无论是在学校还是在社会中，许多人都有过写作文的经历，对作文都不陌生吧，...

中秋节的作文1000字【推荐】中秋节的作文1000字三篇　　在平凡的学习、工作、生活中，大家或多或少都会接触过作文吧，作文...

初中作文600字左右初中作文600字左右由于，清明节是在学校过的不能在家里过。在家里，吃上那平时吃不到的的清明果，那可...

节约用水作文800字　　节约用水作文800字（一）　　一天，火辣辣的太阳照射着大地，刚从外面归来的我急忙冲进浴室，准备洗...

我是一名教师作文我是一名教师作文（通用37篇）　　在日常的学习、工作、生活中，大家都经常接触到作文吧，借助作文可以宣...

美国国庆日的历史和习俗美国国庆日的历史和习俗范文　　美国国庆日：正规叫法是“ 独立纪念日”，它是美国的主要法定节日之一，日...

古典歌未央作文古典歌未央作文　　无论在学习、工作或是生活中，大家或多或少都会接触过作文吧，借助作文可以宣泄心中的情...