机器学习笔记：正则化

创始人

2024-06-01 16:31:08

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：操作系统经典问题——消费者生产者问题

下一篇：About What Is a DBA?

热门资讯

三年级作文：踢足球（精简6篇... 三年级作文：踢足球篇一踢足球是我最喜欢的运动之一。我每天放学后都会和朋友们一起来到学校的操场上踢球...

写快乐的一件事三年级的作文3... 篇一：快乐的一件事在我三年级的时候，有一次我和妈妈一起去公园玩，那是一个阳光明媚的周末早上。我们带了...

秦皇岛黄金海岸游记三年级作文... 秦皇岛黄金海岸游记三年级作文篇一我和家人去了秦皇岛黄金海岸度假，这是我人生中最美好的一次旅行。黄金...

一次旅行的经历作文三年级作文... 一次旅行的经历作文三年级作文篇一我最难忘的一次旅行是和爸爸妈妈去海边玩的那次。那是一个阳光明媚的早...

三年级看图写作文借伞【优质6... 三年级看图写作文借伞篇一今天，我们班级进行了一次有趣的活动，每个同学都被要求写一篇关于“借伞”的作...

三年级上册语文句子复习（优质... 三年级上册语文句子复习篇一在三年级上册的语文学习中，我们学习了许多句子，现在让我们来进行一次复习吧...

三年级作文这一次我被感动了4... 篇一：三年级作文这一次我被感动了43篇这一次我被感动了43篇作文，这是我在三年级最难忘的一次经历。这...

木鱼岛小学三年级作文300字... 木鱼岛小学三年级作文300字篇一我的梦想我是木鱼岛小学三年级的学生，我的名字叫小明。我有一个美丽的...

三年级的海边作文200字【精... 三年级的海边作文200字篇一我在海边玩耍今天是个晴朗的日子，我和爸爸妈妈一起去海边玩耍。海边的沙滩...

三年级作文我的爸爸300字（... 三年级作文我的爸爸300字篇一我的爸爸是一个非常疼爱我的人。他虽然有时候工作很忙，但是每天晚上都会...

我的植物朋友三年级作文（精彩... 我的植物朋友三年级作文篇一我的植物朋友我家有一盆小红花，它是我的植物朋友。我每天都会给它浇水，晒太...

我的中秋节三年级作文400字... 我的中秋节三年级作文400字篇一我和家人一起过中秋节中秋节是中国的传统节日，我和家人一起过了一个特...

三年级作文我可爱的小妹妹（推... 三年级作文我可爱的小妹妹篇一我家有一个可爱的小妹妹，她叫小婷婷。她今年三岁，是一个活泼开朗的小女孩...

有万里长城作文三年级【优质6... 有万里长城作文三年级篇一万里长城是中国古代的伟大工程，也是世界上最长的人类建筑物。长城是由很多砖石...

家乡一角100字作文三年级【... 家乡一角100字作文三年级篇一我家乡的一角是一个美丽的公园。公园里有一片绿草地，上面开满了五颜六色...

小学三年级作文500字【实用... 小学三年级作文500字篇一我最喜欢的动物我最喜欢的动物是猫咪。猫咪有着柔软的毛发和灵活的身体。它们...

独自走在小路上【最新5篇】独自走在小路上篇一独自走在小路上，我感受到了一种独特的自由和宁静。小路被绿树环绕，阳光透过树叶间的...

三年级下册同步作文【通用3篇... 三年级下册同步作文篇一我的偶像我有一个偶像，她是我最喜欢的歌手——Taylor Swift。Tay...

我的课余生活小学三年级作文【... 我的课余生活小学三年级作文篇一：我的快乐课余时光　　我的课余生活非常丰富多彩，充满了快乐和乐趣。我...

作文三年级夏天的晚上（经典6... 作文三年级夏天的晚上篇一夏天的晚上，天空透露着一丝温暖，草地上的小虫子们也开始活跃起来。我喜欢夏天...