相似度_对抗学习：SimCSE: Simple Contrastive Learning of Sentence Embeddings
创始人
2024-01-15 19:47:08
0次
SimCSE: Simple Contrastive Learning of Sentence Embeddings
这篇论文，我觉得有意思。在创造对抗学习的正负例时，正例直接使用它本身。将同一个句子传递给预先训练好的编码器两次：通过应用两次dropout，我们可以得到两个不同的嵌入作为 “正实例”。然后，我们把同一小批中的其他句子作为 “负实例”。
我们首先描述了一种无监督的方法，它采用输入句子并在对比性目标中预测自己，只用dropout 的size大小作为噪音。
以语义相关的正实例之间的一致性和整个表示空间的均匀性来衡量所学嵌入的质量
alignment and uniformity
无监督训练过程
在无监督学习中，采用对抗学习增强实例语义表征能力。
训练目标：两个相同的实例采用不同的dropout mask。
监督训练过程
训练目标是预测两个句子之间的关系：是连带的、中性的还是矛盾的——entailment, neutral or contradiction.
在语料中，有positive instance，negative instance，original instance。
所以，做对抗学习的目的，也是为了解决了词向量表征的各项异性问题。
实验
STS任务:semantic textual similarity 任务
上一篇：云计算基础：云计算越来越广泛，我们应该如何去学习云计算
下一篇：红黑树原理及旋转
相关内容
热门资讯
亲朋好友聚会祝福话
亲朋好友聚会祝福话（精选180句） 无论是身处学校还是步入社会，大家总少不了要接触或使用祝福语吧，...
三八妇女节祝福语短信
2020年三八妇女节祝福语短信大汇总28条 愿有情的人终成眷属，无情的人永远独处，殉情的人大胆服毒...
给妈妈生日祝福语
有关给妈妈生日祝福语 妈妈的生日是女儿难以表达情怀的日子，因为有了妈妈，世界才有了我。灿烂的阳光、...
随份子红包背面祝福语
随份子红包背面祝福语（精选230句） 无论是在学校还是在社会中，大家或多或少都会用到过祝福语吧，祝...
元旦新年贺卡祝福语摘录
2020年精选元旦新年贺卡祝福语摘录32句 所谓好人系指学政治讲政治，不玩政治；尊重人明白人，不算...
适合生日祝福的歌
适合生日祝福的歌 生日到来，自然就要唱生日的歌曲啦，那么，以下是小编给大家整理收集的适合生日祝福的...
搬新家经典祝福语
搬新家经典祝福语大全 新居落成之际，恭贺乔迁之喜；欣闻华厦新成，恭贺乔迁之喜。下面我们来看看搬新家...
开业大吉贺词
开业大吉贺词（精选40句） 机遇青睐有准备的人，事业青睐这天开店的人，成功青睐这天开业的人，辉煌青...
通用元旦新年贺卡祝福语摘录
通用元旦新年贺卡祝福语摘录51句 在人流中擦肩而过是十年修来的缘，相互对视是百年，彼此交流是千年，...
简单的新年微信祝福语
简单的新年微信祝福语集合95句 有些事并不因时光流逝而褪去，有些人不因不常见面而忘记，记忆里你是我...
跟女朋友说早安的情话
跟女朋友说早安的情话（精选140句） 两个人相处是需要一定技巧的，说什么话做什么事都有一定的艺术。...
嫁女对联
嫁女对联大全 导语：对联，汉族的传统文化之一，又称楹联或对子，是写在纸、布上或刻在竹子、木头、柱子...
春节祝福语54条
2021年通用春节祝福语集锦54条 祝福加祝福是很多个祝福，祝福乘祝福是无限个祝福，祝福减祝福是祝...
在闺蜜婚礼上的温馨祝福语
在闺蜜婚礼上的温馨祝福语 无论是身处学校还是步入社会，大家一定都接触过祝福语吧，借助祝福语人们可以...
迎接元旦祝福语短信
迎接元旦祝福语短信大汇总23条 当您看见这信息时，幸运已降临到你头上，财神已进了您家门，荣华富贵已...
情人节祝福语
情人节祝福语(精选160句） 有一种思念是想你，有一种期待是见你，有一种感动是抱你，这一种感觉是甜...
祝福语哥哥结婚话语
祝福语哥哥结婚话语大全（通用7篇） 无论是身处学校还是步入社会，要用到祝福语的地方还是很多的，祝福...
表达圣诞节快乐的祝福语短信摘...
精选表达圣诞节快乐的祝福语短信摘录42句 我向圣诞老人许了愿：我希望不管你的脚是多么臭，在明早当你...
出院病人的祝福语
出院病人的祝福语 在日常学习、工作和生活中，要用到祝福语的情况还是蛮多的，祝福语的种类很多，可分为...
除夕祝福语36条
2021年通用除夕祝福语合集36条 家人关心你；春风洋溢你；爱滋润你；财神系着你；朋友忠于你；我这...