深入理解layernorm在nlp中的含义和计算公式. 附带cv上ln的理解.
创始人
2024-06-02 09:04:31
0次
import torch import torch.nn as nn from torch.nn import LayerNorm # NLP Example batch, sentence_length, embedding_dim = 2, 2, 3 embedding = torch.randn(batch, sentence_length, embedding_dim) layer_norm = nn.LayerNorm(embedding_dim) # shape是10. 所以结果是他在最后一个维度上保持shape.前面20*5 都做mean了. nlp经典做法是对最后一个维度做layernorm.也就是对channel做. The mean and standard-deviation are calculated over the last D dimensions mean = embedding.mean(-1, keepdim=True) # Activate module layer_norm(embedding)#========我们理解这个就需要手动计算. 返回的是(2,2,3) # Image Example 下面我们手动计算. 例如我们上面跑的. embedding:
tensor([[[ 0.1769, 0.9543, 0.4827],
[ 0.3181, -1.1836, 1.3440]],
[[ 2.1516, 1.7302, 0.8906],
[-0.0393, 0.0352, 0.2574]]])
layer_norm(embedding):
tensor([[[-1.1292, 1.3019, -0.1727],
[ 0.1528, -1.2940, 1.1412]],
[[ 1.0699, 0.2659, -1.3358],
[-0.9815, -0.3905, 1.3720]]], grad_fn=
那么我们手动来计算这个-1.1292: 其实他就是 ( 0.1769- mean(0.1769, 0.9543, 0.4827) ) / std(0.1769, 0.9543, 0.4827)
总结: layernorm 一般在nlp上就是对于channel 做归一化. 其他维度都保持.
最后送上经典图:
这个图经典的含义是. 我们看第二个图. 图颜色的部分我们来每次计算他们的归一化. 这个跟nlp里面使用的是不一样的.
他是玩cv的. 对应的cv代码是这个:
N, C, H, W = 20, 5, 10, 10 input = torch.randn(N, C, H, W) # Normalize over the last three dimensions (i.e. the channel and spatial dimensions) # as shown in the image below layer_norm = nn.LayerNorm([C, H, W]) output = layer_norm(input) 当然cv里面ln不常用. ps: 本文中的代码都是torch官方源码. 可以在torch库包中看到.相关内容
热门资讯
年会嘉宾简短致辞
年会嘉宾简短致辞 在日复一日的学习、工作或生活中，大家总少不了要接触或使用致辞吧，致辞具有很强的实...
成长礼主持稿
成长礼主持稿（通用8篇） 在日常生活和工作中，需要使用主持稿的情况越来越多，主持稿是在晚会、联欢会...
电视剧《放羊的星星》经典台词
电视剧《放羊的星星》经典台词 在现实社会中，用到台词的地方越来越多，台词是一种特殊的，也是很难掌握...
抓周仪式主持词
抓周仪式主持词范文 主持词是主持人在台上表演的灵魂之所在。在如今这个中国，主持词是活动、集会等的必...
年终总结大会主持词结束语
年终总结大会主持词结束语 主持词是各种演出活动和集会中主持人串联节目的串联词。时代不断在进步，主持...
纯中式婚礼主持词(2)
让我们共同举起手中的酒杯，共同祝福我们这一对知心爱人，祝福他们在爱的旅途上风雨相承，相濡以沫，真爱一...
幼儿园园庆主持词
幼儿园园庆主持词 利用在中国拥有几千年文化的诗词能够有效提高主持词的感染力。在人们积极参与各种活动...
篮球比赛开幕式主持词
篮球比赛开幕式主持词（通用5篇） 主持词可以采用和历史文化有关的表述方法去写作以提升活动的文化内涵...
六一儿童节活动节目的主持词
六一儿童节活动节目的主持词（精选7篇） 主持词是各种演出活动和集会中主持人串联节目的串联词。在当今...
公司员工的感谢词
公司员工的感谢词3篇 我们虽然是公司的一名员工，其实也是公司的主人，需要有将公司当成家的态度，态度...
毕业晚会的主持稿
毕业晚会的主持稿（精选11篇） 在现在社会，我们很多时候都不得不用到主持稿，主持稿是主持人为节目进...
《加油金三顺》经典台词
《加油金三顺》经典台词 1、回忆是没有任何力量的。(三顺) 2、人都知道会死，但不还是活着吗?(...
升学酒会主持词
升学酒会主持词 借鉴诗词和散文诗是主持词的一种写作手法。在如今这个时代，司仪等是很多场合都需要的角...
秋季开学典礼颁奖主持词
秋季开学典礼颁奖主持词 活动对象的不同，主持词的写作风格也会大不一样。在人们积极参与各种活动的今天...
老人寿宴致辞
老人寿宴致辞（精选7篇） 在我们平凡的日常里，许多人都写过致辞吧，致辞具有“礼仪性”或“仪式化”的...
经典高考升学宴主持词
尊敬的各位领导、各位嘉宾、各位亲朋好友： 大家好!8月，理想赤诚、热爱挚烈，8月，阳光灿烂、收...
中秋晚会主持稿
中秋晚会主持稿（精选5篇） 又到了一个激动人心的好日子！中秋合家团圆，是中华民族的传统习俗。下面是...
男孩满月酒主持词
男孩满月酒主持词 主持词要注意活动对象，针对活动对象写相应的主持词。在各种集会、活动不断增多的社会...
婚礼司仪主持词简短版
婚礼司仪主持词简短版 借鉴诗词和散文诗是主持词的一种写作手法。在人们积极参与各种活动的今天，各种集...
培训主持词
【精华】培训主持词八篇 借鉴诗词和散文诗是主持词的一种写作手法。在当今不断发展的世界，很多晚会、集...