神经网络为什么使用深层表示，以及深层神经网络难以训练的原因
创始人
2024-05-29 16:49:11
0次

神经网络

神经⽹络类型众多，其中最为重要的是多层感知机。多层感知机中的特征神经元模型称为感知机，简单的感知机如下图所⽰：
在这里插入图片描述

其中x1, x2, x3 为感知机的输⼊，其输出为：
在这里插入图片描述
多层感知机由感知机推⼴⽽来，最主要的特点是有多个神经元层，因此也叫深度神经⽹络。
在这里插入图片描述

神经网络为什么使用深层表示？

  • 深度神经⽹络是⼀种特征递进式的学习算法，浅层的神经元直接从输⼊数据中学习⼀些低层次的简单特征；⽽深层的特征则基于已学习到的浅层特征继续学习更⾼级的特征。
  • 深层的⽹络隐藏单元数量相对较少，隐藏层数⽬较多，如果浅层的⽹络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。

为什么深层神经网络难以训练？

1. 梯度消失

梯度消失是指通过隐藏层从后向前看，梯度会变的越来越⼩，说明前⾯层的学习会显著慢于后⾯层的学习。

在深层神经⽹络中，每⼀个神经元计算得到的梯度都会传递给前⼀层，较浅层的神经元接收到的梯度受到之前所有层梯度的影响。如果计算得到的梯度值⾮常⼩，随着层数增多，求出的梯度更新信息将会以指数形式衰减，就会发⽣梯度消失。

梯度消失的原因：

  • 学习率大小
  • 隐藏层的层数过多
  • 使用了不适合的激活函数
  • 网络参数的初始化

梯度消失的解决方案：

  • 更换激活函数：sigmoid、tanh激活函数存在梯度消失的问题，sigmoid函数的导数，是在0 ~ 0.25区间，tanh是在0~1区间。在神经网络中，除了最后二分类问题的最后一层会用sigmoid之外，每一层的激活函数一般都是用ReLU。
  • 残差连接
  • 归一化

2. 梯度爆炸

在深度⽹络或循环神经⽹络等⽹络结构中，梯度可在⽹络更新的过程中不断累积，变成⾮常⼤的梯度，导致⽹络权重值的⼤幅更新，使得⽹络不稳定；在极端情况下，权重值甚⾄会溢出，变为值，再也⽆法更新。

梯度爆炸的原因：

  • 隐藏层的层数过多
  • 权值初始化值太大

梯度爆炸的解决方案：

  • 梯度裁剪：设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。
  • 正则化

3. 权重矩阵的退化导致模型的有效⾃由度减少

参数空间中学习的退化速度减慢，导致减少了模型的有效维数，⽹络的可⽤⾃由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量（即⽹络深度）的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的⾮线性⽹络中（例如 ReLU），随着深度增加，退化过程会变得越来越快。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：CSS - 选择器详解 - 子代、后代选择器详解 - 伪类选择器 - 测试

下一篇：云服务器Ubuntu(无桌面)安装远程桌面

相关内容

热门资讯

常用商务英语口语 　　商务英语是以适应职场生活的语言要求为目的，内容涉及到商务活动的方方面面。下面是小编收集的常用商务...
六年级上册英语第一单元练习题 　　一、根据要求写单词。　　1.dry（反义词）__________________　　2.writ...
复活节英文怎么说 复活节英文怎么说?复活节的英语翻译是什么?复活节：Easter;"Easter,anniversar...
2008年北京奥运会主题曲 2008年北京奥运会(第29届夏季奥林匹克运动会)，2008年8月8日到2008年8月24日在中华人...
英语道歉信 英语道歉信15篇　　在日常生活中，道歉信的使用频率越来越高，通过道歉信，我们可以更好地解释事情发生的...
六年级英语专题训练(连词成句... 六年级英语专题训练(连词成句30题)　　1. have,playhouse,many,I,toy,i...
上班迟到情况说明英语 　　每个人都或多或少的迟到过那么几次，因为各种原因，可能生病，可能因为交通堵车，可能是因为天气冷，有...
小学英语教学论文 小学英语教学论文范文　　引导语：英语教育一直都是每个家长所器重的，那么有关小学英语教学论文要怎么写呢...
英语口语学习必看的方法技巧 英语口语学习必看的方法技巧如何才能说流利的英语？ 说外语时，我们主要应做到四件事：理解、回答、提问、...
四级英语作文选:Birth ... 四级英语作文范文选:Birth controlSince the Chinese Governmen...
金融专业英语面试自我介绍 金融专业英语面试自我介绍3篇　　金融专业的学生面试时，面试官要求用英语做自我介绍该怎么说。下面是小编...
我的李老师走了四年级英语日记... 我的李老师走了四年级英语日记带翻译　　我上了五个学期的小学却换了六任老师，李老师是带我们班最长的语文...
小学三年级英语日记带翻译捡玉... 小学三年级英语日记带翻译捡玉米　　今天，我和妈妈去外婆家，外婆家有刚剥的`玉米棒上带有玉米籽，好大的...
七年级英语优秀教学设计 七年级英语优秀教学设计　　作为一位兢兢业业的人民教师，常常要写一份优秀的教学设计，教学设计是把教学原...
我的英语老师作文 我的英语老师作文（通用21篇）　　在日常生活或是工作学习中，大家都有写作文的经历，对作文很是熟悉吧，...
英语老师教学经验总结 英语老师教学经验总结（通用19篇）　　总结是指社会团体、企业单位和个人对某一阶段的学习、工作或其完成...
初一英语暑假作业答案 初一英语暑假作业答案　　英语练习一(基础训练)第一题1.D2.H3.E4.F5.I6.A7.J8.C...
大学生的英语演讲稿 大学生的英语演讲稿范文（精选10篇）　　使用正确的写作思路书写演讲稿会更加事半功倍。在现实社会中，越...
VOA美国之音英语学习网址 VOA美国之音英语学习推荐网址 美国之音网站已经成为语言学习最重要的资源站点，在互联网上还有若干网站...
商务英语期末试卷 Part I Term Translation (20%)Section A: Translate ...