深入理解layernorm在nlp中的含义和计算公式. 附带cv上ln的理解.
创始人
2024-06-02 09:04:31
0次
import torch import torch.nn as nn from torch.nn import LayerNorm # NLP Example batch, sentence_length, embedding_dim = 2, 2, 3 embedding = torch.randn(batch, sentence_length, embedding_dim) layer_norm = nn.LayerNorm(embedding_dim) # shape是10. 所以结果是他在最后一个维度上保持shape.前面20*5 都做mean了. nlp经典做法是对最后一个维度做layernorm.也就是对channel做. The mean and standard-deviation are calculated over the last D dimensions mean = embedding.mean(-1, keepdim=True) # Activate module layer_norm(embedding)#========我们理解这个就需要手动计算. 返回的是(2,2,3) # Image Example 下面我们手动计算. 例如我们上面跑的. embedding:
tensor([[[ 0.1769, 0.9543, 0.4827],
[ 0.3181, -1.1836, 1.3440]],
[[ 2.1516, 1.7302, 0.8906],
[-0.0393, 0.0352, 0.2574]]])
layer_norm(embedding):
tensor([[[-1.1292, 1.3019, -0.1727],
[ 0.1528, -1.2940, 1.1412]],
[[ 1.0699, 0.2659, -1.3358],
[-0.9815, -0.3905, 1.3720]]], grad_fn=
那么我们手动来计算这个-1.1292: 其实他就是 ( 0.1769- mean(0.1769, 0.9543, 0.4827) ) / std(0.1769, 0.9543, 0.4827)
总结: layernorm 一般在nlp上就是对于channel 做归一化. 其他维度都保持.
最后送上经典图:
这个图经典的含义是. 我们看第二个图. 图颜色的部分我们来每次计算他们的归一化. 这个跟nlp里面使用的是不一样的.
他是玩cv的. 对应的cv代码是这个:
N, C, H, W = 20, 5, 10, 10 input = torch.randn(N, C, H, W) # Normalize over the last three dimensions (i.e. the channel and spatial dimensions) # as shown in the image below layer_norm = nn.LayerNorm([C, H, W]) output = layer_norm(input) 当然cv里面ln不常用. ps: 本文中的代码都是torch官方源码. 可以在torch库包中看到.相关内容
热门资讯
初中毕业作文（推荐6篇）
初中毕业作文 篇一我的初中生活初中生活即将结束，回首这三年的时光，我不禁感慨万分。这段时间，我经历了...
初中新生活【优选6篇】
初中新生活 篇一初中新生活带给我许多新鲜感受和挑战。从进入初中的第一天起，我就感受到了与小学完全不同...
我的初一生活作文800字（优...
我的初一生活作文800字 篇一初一生活，是我人生中的一段重要时光。刚升入初中的我，面对新环境和新生活...
我的烦恼作文800字初一【精...
我的烦恼作文800字初一 篇一我对自己的学习成绩感到很烦恼。尽管我努力学习，但总是无法取得理想的成绩...
残缺也美丽初中作文【精简5篇...
残缺也美丽初中作文 篇一残缺也美丽人生如同一场旅行，每个人都扮演着不同的角色，经历着不同的风景。有时...
我的眼里只有你优秀作文（经典...
我的眼里只有你优秀作文 篇一在我的眼里，只有你是最优秀的。你是我最敬爱的人，也是我最佩服的人。无论是...
经典议论文（最新6篇）
经典议论文 篇一：商业竞争对市场发展的影响商业竞争是市场经济中不可避免的现象，对市场发展起着重要的推...
谈面子议论文【优秀5篇】
谈面子议论文 篇一面子在中国文化中一直扮演着重要的角色，它是人们社会地位和尊严的象征。因此，面子议论...
初一的女孩_（精选6篇）
初一的女孩_ 篇一初一的女孩初一的女孩，正值少女青春期的开始，充满了好奇心和朝气。在这个阶段，她们开...
初中生科幻作文：机器猫（最新...
初中生科幻作文：机器猫 篇一机器猫我叫小明，是一个普通的初中生。有一天，我意外地发现了一只神奇的机器...
初一军训作文（推荐3篇）
初一军训作文 篇一初一军训是每个初中生的必修课程，也是我们适应新环境、锻炼意志的一次重要机会。我国历...
寒梅墨香初中作文500字（精...
寒梅墨香初中作文500字 篇一：寒梅墨香寒梅墨香，这是我最喜欢的一句诗句。每当我看到这句诗时，心中就...
仰望星空，脚踏实地作文650...
仰望星空，脚踏实地作文650字 篇一仰望星空，脚踏实地星空，是人类永远的向往和追求。每当夜幕降临，我...
我的忏悔初中作文【精简5篇】
我的忏悔初中作文 篇一我曾经做出了一件让我深感愧疚的事情，我想在这里向大家忏悔并寻求原谅。那是一个晴...
生活中的语言_初中记叙文【经...
生活中的语言_初中记叙文 篇一我和爸爸妈妈一样，是普通的工薪阶层，生活虽然平凡，但却充满了各种语言的...
初一我的奋斗目标作文500字...
初一我的奋斗目标作文500字 第一篇俗话说：“你脸上云淡风轻，谁也不知道你呼吸得有多紧；你走路带风，...
谢谢你让我遇见你作文（精彩5...
谢谢你让我遇见你作文 篇一遇见你，是我这一生最美好的偶遇。谢谢你，让我在茫茫人海中找到了属于我的那份...
那道靓丽的风景线作文700字...
那道靓丽的风景线作文700字 篇一那道靓丽的风景线在我家附近有一道靓丽的风景线，它是一条蜿蜒曲折的小...
烟花泪的作文【通用5篇】
烟花泪的作文 篇一烟花泪，是我对烟花的一种特殊感受。每当夜幕降临，烟花绽放的瞬间，我总能感受到一种深...
红色精神的作文600字【最新...
红色精神的作文600字 篇一：传承红色精神，弘扬革命精神红色精神是我们中华民族宝贵的精神财富，它是中...