西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

admin 2023年1月2日17:12:58IoT评论5 views1588字阅读5分17秒阅读模式
西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

论文作者:杨亚明,管子玉,王哲,赵伟,徐偲,陆维港,黄健斌

论文单位:西安电子科技大学,计算机科学与技术学院

1. 引言

现阶段,图(Graph)上的自监督学习大多都遵循图对比学习框架,这些方法通常需要先构造一系列的正样本对以及负样本对,然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前,研究者们已经探索了节点丢弃连边扰动等各种生成正样本的策略,以及特征打乱批次采样等各种生成负样本的策略。然而,已有研究工作表明,这些正、负样本的生成策略是数据集敏感的。例如,GraphCL通过系统性的研究发现连边扰动对社交网络比较有益,但是对生物化学网络可能有负面作用。InfoGCL发现负样本对于更稀疏的图可能更有益。因此,在实践中,研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略,这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题,在本项研究中,我们提出一个基于结构聚类的异质图自监督学习方法SHGP,它无需任何正样本或者负样本。

2. 方法

西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习


图1 模型整体架构图。

我们的主要思路是通过对异质图执行结构聚类来产生聚类标签,并利用聚类标签来监督异质图神经网络的训练。如图1中的模型架构图所示,SHGP主要包括两个模块,Att-HGNN模块可以被实现为任何基于注意力聚合机制的异质图神经网络(我们采用ie-HGCN模型,请参考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ),它的作用是计算节点的表示:

Att-LPA模块将经典的标签传播算法LPA以及Att-HGNN中的注意力聚合机制进行了有机的结合,它的作用是在异质图上执行结构聚类,并将得到的聚类标签当做伪标签:

这两个模块共享相同的注意力聚合机制,即,Att-HGNNAtt-LPA在每一次前向过程中都执行相同的注意力聚合,区别是Att-HGNN聚合的是(投影后的)特征,而Att-LPA聚合的是上一轮产生的伪标签,两者都有着完全相同的注意力聚合系数。我们在Att-HGNN的顶层构建一个softmax分类器,并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵:

计算得到损失以后,我们利用梯度下降来优化所有的模型参数:

随着优化过程的进行,模型会学习到越来越好的注意力分布(包括其他参数)。更好的注意力分布则会在下一轮迭代中促进Att-HGNNAtt-LPA分别产生更好的节点嵌入(以及预测)和伪标签,进而促进模型学习得到更好的参数。这样,两个模块可以紧密地相互作用,并相互增强对方,最终使得模型学习得到具有判别性的节点表示。

3. 实验

我们对节点的预训练表示进行聚类。在每个数据集上,我们利用𝐾-means算法来将节点的表示向量进行聚类。实验结果展示在图2中 , 可以看到,SHGP在该任务中展现了最优的整体性能。特别是,在MAG数据集上,SHGP的性能显著地超过了其他基线方法,显示了它的优越性。

西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

图2 节点聚类结果。

我们将模型学习到的节点表示进行可视化。首先利用t-SNE算法将节点的表示向量映射到二维欧式空间,然后利用matplotlib将其进行可视化,并根据节点的真实标签对其进行染色。图3中展示了可视化结果,可以看到,SHGP的每个类都有着很好的内聚性,而类与类之间的界限非常清晰光滑。这说明SHGP能够在不需要任何真实标签的情况下,有效地学习到具有判别性的节点表示。

西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

图3 节点表示可视化结果。


西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习


请扫码访问论文以及代码。

本期责任编辑:杨成
本期编辑:刘佳玮

北邮 GAMMA Lab 公众号
主编:石川
责任编辑:王啸、杨成
编辑:刘佳玮

长按下图并点击“识别图中二维码

即可关注北邮 GAMMA Lab 公众号

西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

原文始发于微信公众号(北邮 GAMMA Lab):西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年1月2日17:12:58
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习 http://cn-sec.com/archives/1486858.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: