神经网络为什么使用深层表示，以及深层神经网络难以训练的原因
创始人
2024-05-29 16:49:11
0次
神经网络
神经⽹络类型众多，其中最为重要的是多层感知机。多层感知机中的特征神经元模型称为感知机，简单的感知机如下图所⽰：
其中x1, x2, x3 为感知机的输⼊，其输出为：
多层感知机由感知机推⼴⽽来，最主要的特点是有多个神经元层，因此也叫深度神经⽹络。
神经网络为什么使用深层表示？
- 深度神经⽹络是⼀种特征递进式的学习算法，浅层的神经元直接从输⼊数据中学习⼀些低层次的简单特征；⽽深层的特征则基于已学习到的浅层特征继续学习更⾼级的特征。
- 深层的⽹络隐藏单元数量相对较少，隐藏层数⽬较多，如果浅层的⽹络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。
为什么深层神经网络难以训练？
1. 梯度消失
梯度消失是指通过隐藏层从后向前看，梯度会变的越来越⼩，说明前⾯层的学习会显著慢于后⾯层的学习。
在深层神经⽹络中，每⼀个神经元计算得到的梯度都会传递给前⼀层，较浅层的神经元接收到的梯度受到之前所有层梯度的影响。如果计算得到的梯度值⾮常⼩，随着层数增多，求出的梯度更新信息将会以指数形式衰减，就会发⽣梯度消失。
梯度消失的原因：
- 学习率大小
- 隐藏层的层数过多
- 使用了不适合的激活函数
- 网络参数的初始化
梯度消失的解决方案：
- 更换激活函数：sigmoid、tanh激活函数存在梯度消失的问题，sigmoid函数的导数，是在0 ~ 0.25区间，tanh是在0~1区间。在神经网络中，除了最后二分类问题的最后一层会用sigmoid之外，每一层的激活函数一般都是用ReLU。
- 残差连接
- 归一化
2. 梯度爆炸
在深度⽹络或循环神经⽹络等⽹络结构中，梯度可在⽹络更新的过程中不断累积，变成⾮常⼤的梯度，导致⽹络权重值的⼤幅更新，使得⽹络不稳定；在极端情况下，权重值甚⾄会溢出，变为值，再也⽆法更新。
梯度爆炸的原因：
- 隐藏层的层数过多
- 权值初始化值太大
梯度爆炸的解决方案：
- 梯度裁剪：设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。
- 正则化
3. 权重矩阵的退化导致模型的有效⾃由度减少
参数空间中学习的退化速度减慢，导致减少了模型的有效维数，⽹络的可⽤⾃由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量（即⽹络深度）的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的⾮线性⽹络中（例如 ReLU），随着深度增加，退化过程会变得越来越快。
相关内容
热门资讯
体育委员竞选稿
体育委员竞选稿（精选20篇） 在日新月异的现代社会中，我们可以使用竞选稿的机会越来越多，借助竞选稿...
赶海说课稿
赶海说课稿赶海说课稿1 一、说教材： （一）、教材分析： 《赶海》一课是苏教版第六册第四单元的...
期中考试动员讲话稿
期中考试动员讲话稿(15篇) 在生活中，需要使用讲话稿的情境愈发增多，讲话稿是写出来供宣讲或宣扬的...
小学数学评课稿4篇
评课是教学、教研工作过程中一项经常开展的活动。小编整理的数学评课稿，供参考！ 小班数学活动《排...
钢琴课评课稿
钢琴课评课稿 钢琴作为一门技术性很强的艺术课程，常常使孩子们一开始兴趣十足，没多久便望而生畏，以至...
毕业论文答辩开场白精选
在教学实践中，我们经常碰到一些学生在写好毕业论文后，对还要举行毕业论文答辩，那么，论文答辩稿应该...
亮身份做表率发言稿
亮身份做表率发言稿 在生活中，需要使用发言稿的事情愈发增多，发言稿以发表意见，表达观点为主，是为演...
小学暑假安全教育讲话稿
小学暑假安全教育讲话稿 讲话稿的内容受会议主题、讲话者和受众等因素决定。下面我们来看看小学暑假安全...
学学构图说课稿
学学构图说课稿 作为一位兢兢业业的人民教师，总归要编写说课稿，借助说课稿可以有效提高教学效率。优秀...
运动会加油稿秋季
运动会加油稿【秋季】 让我们把全部的期待融入文字中，让我们用声音表达我们的热情，下面是关于秋季运动...
四个太阳说课稿
四个太阳说课稿（精选5篇） 作为一位兢兢业业的人民教师，有必要进行细致的说课稿准备工作，编写说课稿...
六年级语文《明天我们毕业了》...
苏教版六年级语文《明天我们毕业了》说课稿范文 一、谈话导入 1、同学们，不久你们就要小学毕业了，...
春的朗诵稿
关于春的朗诵稿(3篇) 随着社会不断地进步，大家都接触过朗诵稿吧，朗诵是用响亮有力的声音把文章背出...
中班夏天的雷雨说课稿
中班夏天的雷雨说课稿 作为一名中班的老师，我们知道开新课的时候知道怎么样书写好自己的说课稿吗？以下...
《心中的红领巾》说课稿
四年级少先队活动课《心中的红领巾》说课稿范文 在教学工作者实际的教学活动中，时常需要用到说课稿，借...
《北京亮起来了》说课稿
《北京亮起来了》说课稿范文各位老师，今天我说课的内容是： 一、教材的理解 九年义务教育六年制小学...
小学数学四年级上册说课稿《找...
小学数学四年级上册说课稿《找规律》 小学数学四年级上册说课稿《找规律》怎么写好呢?下面是由应届毕业...
七彩蝴蝶的说课稿
七彩蝴蝶的说课稿 一、说教材 《七彩蝴蝶》是全国义务教育课程标准试验教科书小学二年级《艺术》（下...
《比热容》说课稿
《比热容》说课稿《比热容》说课稿1 一、说教材 （一）教材的特点 “比热容”是义教初中物理第二...
《寂寞的月亮》说课稿
《寂寞的月亮》说课稿各位评委老师： 上午好！我今天说课的题目是《寂寞的月亮》，下面我将从说教材、说...