专题解读 | 谱图对比学习最新进展

[NIPS 2022] Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum

作者从谱的角度设计实验，探索在对比学习中什么信息应该被保留，以及不同图增广策略的背后是否有一般性的准则。作者的增广方式是从原始图中删除一定比例的高频信息或者低频信息来生成增广。

用该增广方式在cora等数据集上进行节点分类实验，实验结果如下图，横轴表示保留的低频信息/高频信息比例。实验结果表明：1）当增广图中最低频信息被保留，即增广前后低频的频谱差异减小，效果最好（紫线）；2）当增广图中加入更多高频信息，即增广前后高频的频谱差异增大，效果逐步提升（棕线）。

所以作者提出一般的图增广准则GAME RULE：增广前后高频段谱的变化比低频段谱的变化大。

基于该准则，作者还提出一个谱图增广方法，将增广前后谱的变化趋近于一个关于特征值的单增函数，保证增广前后高频段谱的变化比低频段谱的变化大，保留更多的低频信息。具体的伪代码如下：

对增广图的谱进行可视化，可见提出的增广方法是符合提出GAME RULE的。

[ICLR 2023] SPECTRAL AUGMENTATION FOR SELF-SUPERVISED LEARNING ON GRAPHS

图上的对比学习依赖于图增广去捕捉在微小扰动下不变的模式。但是应该捕捉什么样的图不变信息、扰动什么样的敏感信息仍然不清楚。现有的工作在空域上进行增广，忽略了对编码在谱域上的结构信息的影响。文章从谱图的角度探索图的不变性，从而找到拓扑增广的原则。具体地，文章提出一个谱图增广方法，通过最大化谱的变化来生成增广。

文章认为有效的增广应该更多地关注那些给图结构带来更大影响的敏感边，作者认为这种边是噪声。那么这么去衡量图结构的变化呢？理论上，图谱能反映很多图特征，例如连通性、聚类等特征，所以谱的变化能反映图结构的变化。实践上，作者设计了一个实验来对比两种增广方式：1）随机删边，2）翻转属于不用聚类的节点之间的边。实验结果如下，从结果可以看出，扰动聚类间的边F1 score更高，因为这种方法能直接影响图的聚类特征，而谱的差异与扰动的比率、F1 score存在正相关，说明谱能很好地反映图结构的变化。

所以作者的增广策略是去扰动那些能给图的谱带来更大变化的边。具体公式如下：

模型的框架如下图所示：

总结

两篇文章从谱的角度理解对比学习。第一篇文章回答了图对比学习编码了什么信息的问题，即更多地编码了低频信息。第二篇文章从谱的角度探索空域增广应该保留什么样的边，扰动什么样的边，即扰动对图结构影响更大的边。