反向传播时sigmoid函数的梯度计算实现_资讯

创始人

2024-06-01 20:13:22

0次

sigmoid类实现如下：

import math

class sigmoid:

def forward(self,input):

self.out=1/(1+ math.exp(-input))

return self.out

def backward(self,doutput):

self.grad=doutput*(1-self.out)*self.out#sigmoid函数的导数为y*(1-y)。y就是本层正向传播的输出。

return self.grad

sigmoid函数的导数为y*(1-y) ，因为反向传播的输入就是损失函数对上层的正向传播时输入的导数。那就直接用dout直接与本层的导数相乘，就得到了，损失函数对本层的正向输入时x的导数，同时也就是反向传播时下层的输入。

七年级民族团结小卫士作文30... 七年级民族团结小卫士作文300字篇一民族团结小卫士作为一名七年级学生，我深深地感受到了民族团结的重...

这次,换我好好爱你初中生作文... 这次,换我好好爱你初中生作文篇一这次，换我好好爱你亲爱的朋友们：大家好！今天我想和大家分享一下我对...

diy制作作文初一（最新6篇... diy制作作文初一篇一如何制作简易太阳能电池太阳能电池是一种利用太阳能将光能转化为电能的装置。它不...

长白山稻米事件议论文（优秀5... 长白山稻米事件议论文篇一长白山稻米事件引发了广泛的关注和争议。这一事件涉及到了农业生产、食品安全以...

左半边翅膀初中作文800字（... 篇一：左半边翅膀初中作文800字左半边翅膀是我生活中的助力器生活中，我们每个人都有自己的左半边翅膀，...

童年趣事作文（精选6篇）童年趣事作文篇一小时候的我是一个活泼好动的孩子，喜欢和朋友们一起玩耍。其中有一次，我们组织了一场“...

生活在别处初一优秀作文【精简... 生活在别处初一优秀作文篇一生活在别处初一优秀作文篇二生活在别处初一优秀作文篇三未来的生活当我...

春天是一个令人遐想的季节【经... 春天是一个令人遐想的季节篇一春天，是四季中最令人遐想的季节。寒冷的冬天过去了，大地开始苏醒，万物复...

此时无声胜有声初中作文【通用... 此时无声胜有声初中作文篇一随着科技的不断进步和社会的快速发展，人们的生活变得越来越喧嚣。嘈杂的声音...

我们是一家人初中作文600字... 我们是一家人初中作文600字篇一家，是一个人生活的港湾；家，是一个人成长的摇篮。而对于我来说，家更...

我的执着初一作文（精彩6篇）我的执着初一作文篇一执着是一种坚持不懈的品质，它使我在初一的学习生活中取得了许多成就。正是这种执着...

外祖母-初一作文【最新5篇】外祖母-初一作文篇一外祖母是我最亲密的长辈，她是一个非常温柔和善良的人。每次我见到她，她都会给我一...

往事如风作文【优选5篇】往事如风作文篇一往事如风，岁月如梭。回首过去的时光，仿佛一切都已经过去，只留下了一抹淡淡的回忆。往...

游东沙古镇初一作文1000字... 游东沙古镇初一作文1000字篇一初一的暑假，我随着家人来到了东沙古镇，这是一个有着悠久历史和独特魅...

捡蘑菇的作文七年级共70篇捡蘑菇的作文七年级第一篇雨后，天空一碧如洗，空气也格外清新。小白免皮皮和妈妈跨着竹篮迫不及待地到山...

我的初一生活作文（精选6篇）我的初一生活作文篇一初一，是我人生中一个全新的开始。离开了小学的校园，踏入了初中的大门，我怀着激动...

黑与白的初中议论文【经典5篇... 黑与白的初中议论文篇一黑与白，是一对互补的色彩，代表了对立却又相互依存的存在。在日常生活中，我们常...

初中随笔作文400字【最新5... 初中随笔作文400字篇一我的偶像每个人都有自己的偶像，他们可以是明星、运动员、作家等等。而我的偶像...

初一餐桌前的谈话作文500字... 初一餐桌前的谈话作文500字篇一初一餐桌前的谈话今天是我初一的第一天，我很兴奋地回到家中。晚饭时，...

初一作文《假期见闻》（优选6... 初一作文《假期见闻》篇一我的假期过得非常充实和有意义。在假期中，我参加了一次有趣的亲子旅行，还参加...