本文是对《Contrastive Multi-View Representation Learning on Graphs》一文的总结,如有侵权即刻删除。
朋友们,我们在github创建了一个图学习笔记库,总结了相关文章的论文、代码和我个人的中文笔记,能够帮助大家更加便捷地找到对应论文,欢迎star~
Chinese-Reading-Notes-of-Graph-Learning
更多相关文章,请移步:文献阅读总结:网络表示学习/图学习
《Contrastive Multi-View Representation Learning on Graphs》
——ICML 2020
Author: Kaveh Hassani
本文指出视觉邻域中的多视图学习还没有在图学习领域得到广泛的应用,而且过多的视图反而会降低图学习模型的效果。因此提出了MVGRL方法,通过构造第二个视图来实现视图间的对比学习,从而约束模型同时捕捉局部和全局信息。具体来说,以原始图结构为第一个视图,通过图扩散方法生成第二个视图(文章认为其含有全局信息),通过GNN生成节点表征,用readout操作聚合成图表征,那么损失函数就可以约束第一个视图中的节点表征和第二个视图中的图表征互信息最大化,从而实现训练。其模型结构图如下:
首先,模型将原本的图结构视为第一个视图,然后使用Graph Diffusion方法构建了第二个视图,本质上就是通过扩散方法,在原有的图结构上加入更多的边,文章选取了PPR和heat kernel两种方式构建如下:
在构建得到第二个视图后,文章使用两个GNN模块分别在两个视图上进行节点表征的学习,还为每个视图生成了一个图表征,实质上是对节点表征的一种聚合:
得到两个视图的节点表征和图表征后,基于互信息最大化构造损失函数,使得一个视图的节点表征和另一个视图的图表征最大化互信息:
模型的伪代码如下:
下一篇: 诗歌:祖国颂