神经网络为什么使用深层表示，以及深层神经网络难以训练的原因
创始人
2024-05-29 16:49:11
0次

神经网络

神经⽹络类型众多，其中最为重要的是多层感知机。多层感知机中的特征神经元模型称为感知机，简单的感知机如下图所⽰：
在这里插入图片描述

其中x1, x2, x3 为感知机的输⼊，其输出为：
在这里插入图片描述
多层感知机由感知机推⼴⽽来，最主要的特点是有多个神经元层，因此也叫深度神经⽹络。
在这里插入图片描述

神经网络为什么使用深层表示？

  • 深度神经⽹络是⼀种特征递进式的学习算法，浅层的神经元直接从输⼊数据中学习⼀些低层次的简单特征；⽽深层的特征则基于已学习到的浅层特征继续学习更⾼级的特征。
  • 深层的⽹络隐藏单元数量相对较少，隐藏层数⽬较多，如果浅层的⽹络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。

为什么深层神经网络难以训练？

1. 梯度消失

梯度消失是指通过隐藏层从后向前看，梯度会变的越来越⼩，说明前⾯层的学习会显著慢于后⾯层的学习。

在深层神经⽹络中，每⼀个神经元计算得到的梯度都会传递给前⼀层，较浅层的神经元接收到的梯度受到之前所有层梯度的影响。如果计算得到的梯度值⾮常⼩，随着层数增多，求出的梯度更新信息将会以指数形式衰减，就会发⽣梯度消失。

梯度消失的原因：

  • 学习率大小
  • 隐藏层的层数过多
  • 使用了不适合的激活函数
  • 网络参数的初始化

梯度消失的解决方案：

  • 更换激活函数：sigmoid、tanh激活函数存在梯度消失的问题，sigmoid函数的导数，是在0 ~ 0.25区间，tanh是在0~1区间。在神经网络中，除了最后二分类问题的最后一层会用sigmoid之外，每一层的激活函数一般都是用ReLU。
  • 残差连接
  • 归一化

2. 梯度爆炸

在深度⽹络或循环神经⽹络等⽹络结构中，梯度可在⽹络更新的过程中不断累积，变成⾮常⼤的梯度，导致⽹络权重值的⼤幅更新，使得⽹络不稳定；在极端情况下，权重值甚⾄会溢出，变为值，再也⽆法更新。

梯度爆炸的原因：

  • 隐藏层的层数过多
  • 权值初始化值太大

梯度爆炸的解决方案：

  • 梯度裁剪：设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。
  • 正则化

3. 权重矩阵的退化导致模型的有效⾃由度减少

参数空间中学习的退化速度减慢，导致减少了模型的有效维数，⽹络的可⽤⾃由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量（即⽹络深度）的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的⾮线性⽹络中（例如 ReLU），随着深度增加，退化过程会变得越来越快。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：CSS - 选择器详解 - 子代、后代选择器详解 - 伪类选择器 - 测试

下一篇：云服务器Ubuntu(无桌面)安装远程桌面

相关内容

热门资讯

全国卷一作文【优质3篇】 全国卷一作文 篇一：如何培养孩子的创造力创造力是现代社会对于个体发展的重要要求之一。而培养孩子的创造...
2022年江苏新高考I卷作文... 2022年江苏新高考I卷作文 篇一新高考改革下的多元化教育模式探析 2022年江苏新高考I卷作文 篇...
2022高考作文围棋范文【优... 2022高考作文围棋范文 篇一围棋与我的成长围棋是一门古老而深奥的智力游戏，它给了我许多启示和帮助，...
高考零分作文出：我的共享幸福... 篇一：高考零分作文出：我的共享幸福计划近年来，共享经济在我国发展迅速，各种共享平台如雨后春笋般涌现。...
天津高考作文题【精选3篇】 天津高考作文题 篇一我心中的天津天津，这座位于华北地区的城市，是我生活了十几年的家。它不仅是中国的直...
高考作文素材积累【最新3篇】 高考作文素材积累 篇一高考作文素材积累是每个高中生备战高考时必备的一项重要任务。作文是高考语文科目中...
高考满分作文800字【精简6... 高考满分作文800字 篇一我的高中生活高中三年，如同一场华丽的冒险，我在其中探索着自我、成长着、收获...
成人高考作文（精彩6篇） 成人高考作文 篇一：教育的重要性教育是人类社会发展的重要基石，也是个人成长的关键因素。随着社会的进步...
高考范文历史人物英语（推荐6... 高考范文历史人物英语 篇一：The Life and Contributions of Confuc...
高考作文题预测：追随心的指引... 高考作文题预测：追随心的指引 篇一在现代社会中，我们常常被外界的声音所左右，很难真正追随自己内心的声...
提高高考成绩的方法（精选3篇... 提高高考成绩的方法 篇一高考是每个学生人生中的重要时刻，它对于一个人的未来发展起着决定性的作用。因此...
高考志愿填报：如何选择合适自... 高考志愿填报：如何选择合适自己的专业 篇一在高考志愿填报的过程中，选择合适自己的专业显得尤为重要。毕...
成长回忆录作文（实用5篇） 成长回忆录作文 篇一初入校园的我我依稀记得那年，我刚刚踏入小学校园的时候，心中充满了兴奋和好奇。那是...
全国II卷高考作文解析【精彩... 全国II卷高考作文解析 篇一第一篇内容在全国II卷高考作文中，题目给出的是一个与时代发展相关的话题，...
高考作文题目及（实用3篇） 高考作文题目及 篇一：科技进步对社会的影响科技进步是当今社会的一大特征，它对我们的生活产生了深远的影...
湖南高考作文题目及：心在哪里... 湖南高考作文题目及：心在哪里风景就在哪 篇一心在哪里风景就在哪心在哪里，风景就在哪。这句话虽然简单，...
高考优秀作文（实用6篇） 高考优秀作文 篇一：团结合作，共创辉煌作文一：团结合作，共创辉煌高考优秀作文 篇二：拥抱变化，迎接挑...
人字的高考作文范文【经典6篇... 人字的高考作文范文 篇一随着高考的临近，考生们都开始为自己的未来做最后的冲刺。高考对于每个考生来说都...
高考录取知识普及【优选3篇】 高考录取知识普及 篇一：高考录取流程详解高考是每个学生都会经历的重要考试，而高考录取则是决定学生是否...
高考英语优秀书法范文作品（精... 高考英语优秀书法范文作品 篇一The Beauty of Chinese Calligraphy: ...