西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

论文作者：杨亚明，管子玉，王哲，赵伟，徐偲，陆维港，黄健斌

论文单位：西安电子科技大学，计算机科学与技术学院

1. 引言

现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了节点丢弃、连边扰动等各种生成正样本的策略，以及特征打乱、批次采样等各种生成负样本的策略。然而，已有研究工作表明，这些正、负样本的生成策略是数据集敏感的。例如，GraphCL通过系统性的研究发现连边扰动对社交网络比较有益，但是对生物化学网络可能有负面作用。InfoGCL发现负样本对于更稀疏的图可能更有益。因此，在实践中，研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略，这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题，在本项研究中，我们提出一个基于结构聚类的异质图自监督学习方法SHGP，它无需任何正样本或者负样本。

2. 方法

我们的主要思路是通过对异质图执行结构聚类来产生聚类标签，并利用聚类标签来监督异质图神经网络的训练。如图1中的模型架构图所示，SHGP主要包括两个模块，Att-HGNN模块可以被实现为任何基于注意力聚合机制的异质图神经网络（我们采用ie-HGCN模型，请参考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ），它的作用是计算节点的表示：

Att-LPA模块将经典的标签传播算法LPA以及Att-HGNN中的注意力聚合机制进行了有机的结合，它的作用是在异质图上执行结构聚类，并将得到的聚类标签当做伪标签：

这两个模块共享相同的注意力聚合机制，即，Att-HGNN和Att-LPA在每一次前向过程中都执行相同的注意力聚合，区别是Att-HGNN聚合的是（投影后的）特征，而Att-LPA聚合的是上一轮产生的伪标签，两者都有着完全相同的注意力聚合系数。我们在Att-HGNN的顶层构建一个softmax分类器，并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵：

计算得到损失以后，我们利用梯度下降来优化所有的模型参数：

随着优化过程的进行，模型会学习到越来越好的注意力分布（包括其他参数）。更好的注意力分布则会在下一轮迭代中促进Att-HGNN和Att-LPA分别产生更好的节点嵌入（以及预测）和伪标签，进而促进模型学习得到更好的参数。这样，两个模块可以紧密地相互作用，并相互增强对方，最终使得模型学习得到具有判别性的节点表示。

3. 实验

我们对节点的预训练表示进行聚类。在每个数据集上，我们利用𝐾-means算法来将节点的表示向量进行聚类。实验结果展示在图2中 , 可以看到，SHGP在该任务中展现了最优的整体性能。特别是，在MAG数据集上，SHGP的性能显著地超过了其他基线方法，显示了它的优越性。

我们将模型学习到的节点表示进行可视化。首先利用t-SNE算法将节点的表示向量映射到二维欧式空间，然后利用matplotlib将其进行可视化，并根据节点的真实标签对其进行染色。图3中展示了可视化结果，可以看到，SHGP的每个类都有着很好的内聚性，而类与类之间的界限非常清晰光滑。这说明SHGP能够在不需要任何真实标签的情况下，有效地学习到具有判别性的节点表示。