Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning

https://arxiv.org/pdf/2105.05682

https://github.com/GRAND-Lab/MERIT

Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning,2021,arxiv preprint

总结:作者将孪生网络和图对比学习结合到一起,提出了一种新的图对比学习方法MERIT。希望利用BYOL模型中自举机制解决现有图对比学习方法中负样本需要刻意选择的问题(但是我理解的这篇文章并没有用到BYOL中的思想,也没有解决这一问题)。具体来说,一方面通过孪生GNNs,设计了一种跨网络对比来从历史表示中提取知识;另一方面,为了进一步丰富自监督信号,引入了另一种不同尺度下的跨视角对比。总的来说,本文的创新点可以看做是两种工作的合并,实验结果还不错。

阅读更多...

Learning Graph Representation by Aggregating Subgraphs via Mutual Information Maximization

https://arxiv.org/pdf/2103.13125

Learning Graph Representation by Aggregating Subgraphs via Mutual Information Maximization,2021,arxiv preprint

总结: 前面文章提到过,图对比学习中常用的数据增强策略可以归纳为4种,mask属性、增删节点、增删边和子图。本文作者从子图入手提出了一种图对比学习模型。具体来说,作者提出了一种自回归子图生成模型,然后将生成的子图聚合到一起作为新图,再和原图进行对比,用于无监督/半监督图分类任务。另外作者还添加了一些小trick,进一步提高了模型性能。

阅读更多...

Graph Contrastive Learning Automated

https://arxiv.org/pdf/2106.07594

https://github.com/Shen-Lab/GraphCL_Automated

Graph Contrastive Learning Automated ,2021,ICML

总结:可以看做“Graph Contrastive Learning with Augmentations”这篇文章的优化工作。本文作者提出了一种自动图对比学习策略JOAO,并基于此提出了一种变体JOAOv2。具体来说,由于图数据集的异质性,现有的图对比学习方法需要根据不同数据集采用试错法手动选取增强策略,这限制了GraphCL的通用性。作者受对抗学习的启发,提出了一种双层优化机制,将增强策略的采样分布整合到模型目标损失中,通过梯度下降进行优化,自动选取最适合当前数据集的增强策略。大量实验证明作者提出的JOAO策略是有效的,自动选取的增强策略和人工试错法得到的增强策略基本一致。

阅读更多...

Contrastive Multi-View Representation Learning on Graphs

http://proceedings.mlr.press/v119/hassani20a/hassani20a.pdf

https://github.com/kavehhassani/mvgrl

Contrastive Multi-View Representation Learning on Graphs ,2020,ICML

总结:这篇文章应该算是图对比学习中非常值得一看的文章,个人感觉创新性比较强。作者从多视角入手,提出了一种新的多视角图对比学习模型,通过跨视角对比来训练模型,学习更好的节点/图表示,用于下游任务。文章的实验比较丰富,探讨了多种对比策略和视角组合,实验结果也非常棒,无论在节点分类还是图分类任务中,和无监督方法相比性能都取得了较大提升,和无监督方法也具有可比性。

阅读更多...

Graph Contrastive Learning with Augmentations

https://arxiv.org/pdf/2010.13902

https://github.com/Shen-Lab/GraphCL

Graph Contrastive Learning with Augmentations ,2020,NIPS

总结:作者认为图学习领域,由于数据集巨大,并且GNNs由于过拟合问题往往层数很浅,因此研究GNNs下的预训练技术十分有必要。针对图分类下的预训练技术,作者的贡献主要有两个:一是仿照CV中的数据增强,提出了四种图数据增强策略;二是提出了一个新的图对比学习框架GraphCL。另外值得一提的是,作者通过实验对四种图数据增强策略进行了很多更细致的研究,得出了一些有趣的结论。

阅读更多...

Graph Contrastive Learning with Adaptive Augmentation

https://arxiv.org/pdf/2010.14945

https://github.com/CRIPAC-DIG/GCA

Graph Contrastive Learning with Adaptive Augmentation ,2021,WWW

总结:现有的图对比学习方法大多采用统一的数据增强策略,忽略了对数据增强策略方面的研究。作者认为现有的数据增强方式存在两个弊端:一是对于节点属性,简单的数据增强数据增强没什么效果;二是对于拓扑结构数据增强忽略了不同节点在图中影响力不同。因此作者提出了一种新的基于自适应数据增强策略的图对比学习框架GCA。实验结果虽然在大多数设定下都是最优的,但是没提高多少,给人一种调参调出来的感觉。从消融实验的结果来看,模型核心创新点带来的性能提升并不多。

阅读更多...

Attentional Constellation Nets for Few-Shot Learning

https://openreview.net/pdf?id=vujTf_I8Kmc

https://github.com/wuwenshan/ConstellationNet

Attentional Constellation Nets for Few-Shot Learning,2021,ICLR

总结:本文将传统part-based模型中的constellation模型用于小样本学习中,解决小样本场景下样本稀少问题。文章的创新点在于如何将传统constellation模型融合到CNN中用于小样本学习。给我的启发:感觉和ICLR 2021另外一篇concept learner论文异曲同工,都是从更高层级的part of object入手,而非传统像素级别,让模型学习一些高层级的显性知识(这样模型泛化能力可能更强,有利于测试集上分类)。感觉这种part-based方向值得深入研究下。

阅读更多...

Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML

https://arxiv.org/pdf/1909.09157

https://github.com/learnables/learn2learn

Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML,2020,ICLR

总结:文章提出的ANIL算法是2021ICLR另一篇BOIL文章的前传,强烈推荐将MAML、ANIL和BOIL三篇文章放到一起看,感觉还是很奇妙的,值得深入研究。文章从“ Is MAML’s efficacy predominantly due to rapid learning or feature reuse?”问题出发,通过实验证明了feature reuse是MAML成功的主要因素,并据此提出了ANIL(Almost No Inner Loop)和NIL(No Inner Loop)两种新算法。文章实验很丰富,结果也很漂亮。

阅读更多...

Modeling Relational Data with Graph Convolutional Networks

https://arxiv.org/pdf/1703.06103

https://github.com/tkipf/relational-gcn

Modeling Relational Data with Graph Convolutional Networks,2018,ESWC

总结:比较早的一篇用于知识图谱上信息补全的模型,具体来说用来解决实体分类和链路预测两个任务。针对知识图谱中三元组数据,对传统GCNs的转换函数做了改进提出了R-GCN模型。在实体分类任务中采用encoder架构,在链路预测任务中采用encoder-decoder即自编码器架构。最后的实验效果不是很理想,不过文章影响力挺大,被引量比较高。

阅读更多...

BOIL Towards Representation Change for Few-shot Learning

https://arxiv.org/pdf/2008.08882

BOIL: Towards Representation Change for Few-shot Learning,2021,ICLR

总结:本文作者针对MAML方法提出了一种新的变体——BOIL,Body Only undate in Inner Loop,在内循环中只更新特征提取器,不更新分类器。将MAML、ANIL和BOIL三个模型结合起来看还挺有趣的。在前人的研究中,针对MAML有两种假设,分别是representation reuse和representation change。作者通过大量实验证明了MAML和ANIL的内在学习机制是representation reuse,而BOIL的内在学习机制是representation change,并且BOIL的这种机制下的模型性能要优于MAML/ANIL,尤其在跨域任务中。文章实验做得很漂亮,个人觉得是一篇很有阅读价值的论文。

阅读更多...
  • Copyrights © 2021-2022 Yin Peng
  • 引擎: Hexo   |  主题:修改自 Ayer
  • 访问人数: | 浏览次数:

请我喝杯咖啡吧~

支付宝
微信