专题解读 | 图对比学习方法在推荐系统中的应用

图神经网络通过邻域聚合提取局部协同信号，在基于图的推荐系统中表现突出。然而，许多实际的推荐场景都遭受数据稀疏的困扰，为了从有限的交互数据中学习高质量的用户和项目表征，对比学习方法作为一种数据增广措施被引入到推荐系统中。本文主要介绍推荐领域中图对比学习方法的四篇工作。前两篇工作分别从随机增广，启发式增广的角度解决推荐系统中数据稀疏的问题，而第三篇工作则分析了前两类角度的缺点，从SVD分解的角度进行增广图的生成。第四篇工作是在推荐场景下基于知识图谱进行对比学习，作为该领域一个补充。

[SIGIR 2021] Self-supervised Graph Learning for Recommendation

URL: https://dl.acm.org/doi/pdf/10.1145/3404835.3462862

本文分析了图卷积网络(GCNs)在推荐领域的两个局限性：(1) high-degree的节点对节点表示学习产生更大的影响，导致了low-degree的节点（long-tail items）的不可见。(2) 节点表示容易受到噪声交互的影响。为了解决这两个局限性，提高推荐的准确性，本文提出了一种新的学习框架 —— Self-supervised Graph Learning(SGL)，其思想是用一个辅助的自监督任务来补充经典的推荐监督任务，通过自我区分来加强节点表示学习。通过理论分析和实验表明，SGL具有自动挖掘hard negatives的能力，它提高了推荐的准确性以及对交互噪声的鲁棒性。

方法

如图所示为本文所提的自监督图学习（SGL）的主要流程，用自监督作为辅助任务从数据的相关性中挖掘内在的监督信号。

Data Augmentation on Graph Structure

本文在图结构上设计了三个操作，Node Dropout、Edge Dropout和Random Walk，以创建不同的节点视图，可以统一表示如下：

其中，随机选择和分别应用于图,并建立了节点的两个相关子图和。接着我们将详细说明增广操作。

Node Dropout

每个节点及其连通边从图中被丢弃的概率为ρ。和可以被建模为：

其中，是两个mask向量，应用在节点集上生成两个子图,这种增强有望从不同的增强视图中识别出有影响的节点，并使表示学习对结构变化的敏感性降低。

Edge Dropout

每条连通边从图中被丢弃的概率为ρ。和可以被建模为：

其中，是两个mask向量，应用在边集上生成两个子图,只有邻域内的部分连接对节点表示有贡献,这种增强目的是捕获节点局部结构的有用模式，并进一步赋予表示对噪声交互更强的鲁棒性。

Random Walk

了探索更高的能力，本文考虑使用不同的子图来分配不同的层。这可以看作是使用随机游走为每个节点构建一个单独的子图:

其中，是第层的边集上的两个mask向量。

Contrastive Learning

在建立了节点的增广视图之后，本文将同一节点的视图视为正对，将任何不同节点的视图视为负对。正对的辅助监督促进了同一节点的不同观点之间的一致性，以进行预测，而负对的监督则加强了不同节点之间的差异。形式上，本文使用对比损失InfoNCE，以最大限度地提高正对的一致性，最小化负对的一致性：

其中，为余弦相似度函数；τ是超参数，作为softmax中的温度。

Multi-task Training

为了改进SSL任务的推荐，本文利用多任务训练策略来联合优化经典的推荐任务和自我监督学习任务：

其中，是中的模型参数集，和分别是控制SSL和L2正则化强度的超参数。

实验

下图是SGL对LightGCN的提升效果。

[SIGIR 2022] Hypergraph Contrastive Collaborative Filtering

URL: https://arxiv.org/pdf/2204.12200v2.pdf

本文提出，在现有的基于图的协作过滤（CF）中，有两个关键的挑战还没有得到很好的探索：(1) 使用更深层次的基于图的CF架构的过平滑效应，可能会导致难以区分的用户表示和推荐结果的退化。(2) 监督信号（即用户-项目交互）在现实中通常是稀缺的和偏态分布的，这限制了CF范式的表示能力。为了解决这些挑战，文章提出了一种新的自监督推荐框架超图对比协同过滤（HCCF），通过一个超图增强的交叉视图对比学习架构来联合捕获局部和全局协作关系。

方法

如图所示为本文所提的超图对比学习体系结构（HCCF）的主要流程，首先，本文利用基于图的消息传递模块作为编码器来捕获用户和项目之间的局部相似性。接着，本文提出了一种新的具有全局依赖结构学习的超图神经网络，以全面捕获图神经CF范式的全局协同效应。最后，本文引入了一种新的具有互补自提炼视图（局部和全局协作关系）的超图对比学习体系结构。

Local Collaborative Relation Encoding

根据通用的协同过滤范式，本文首先分别用嵌入向量和来表示每个用户的和项目，为嵌入向量的集合。受LightGCN中简化图卷积网络有效性的启发，本文设计了局部图嵌入传播层：

其中，为用户-项目交互矩阵的归一化邻域矩阵。

Hypergraph Global Dependency Learning

为了将用户/项目之间的全局协作关系注入到CF表示范式中，本文通过超图结构学习设计了一个全局依赖编码器。

Hypergraph Message Passing Paradigm

在本文的超图协同过滤场景中，作者利用超边作为中间中心，用于在没有跳跃距离限制的情况下在用户和项目之间传递全局感知信息。超图消息传递的表示如下：

其中，表示用户的超边缘特定嵌入，表示LeakyReLU映射。表示第𝑙个传播层下超图表示空间中用户的超嵌入。项目的超嵌入也以类似的方式生成。

Parameterized Hypergraph Structure Learning

为了自适应地学习跨用户和项目的基于超图的依赖结构，本文提出对超图依赖矩阵进行参数化。虽然通过获得一个可训练的超图结构矩阵，可以用推导出节点级的全局依赖性。然而，学习密集超图相邻矩阵将极大地增加模型参数的大小，计算成本高（特别是对于大量的超边𝐻）。为了解决这一挑战，本文提出将超图结构矩阵以低秩的方式参数化为潜在空间，以提高模型效率：

其中，，表示用户侧和项目侧超边的可学习嵌入矩阵。

Hierarchical Hypergraph Mapping

虽然上述的超图结构学习框架赋予了HCCF捕获全局用户和项目级协作关系的能力，但为了进一步用高水平的超边缘级特征交互来增强超图神经架构。本文通过叠加大小为𝐻的不同超边线层，用多个超图神经层来增强HCCF：

其中，表示从用户/项目表示以及节点-超边缘结构聚合的超边缘嵌入。这里，表示超图嵌入层的数量。是一个用于嵌入投影的可训练参数矩阵。采用LeakyReLU作为激活函数𝜎（·）来处理非线性问题。将剩余连接操作应用于跨超图层的嵌入生成。在分层超图映射之后，本文对用户/项目表示进行了细化：

Multi-Order Aggregation and Prediction

为了将局部依赖编码与全局协同关系建模相结合，本文迭代地执行图的局部嵌入传播和超图信息聚合：

其中，表示从其本地连接的邻居中聚合的用户的第𝑙阶嵌入。表示通过超边融合的𝑙阶用户表示。本文进一步将残差操作应用于嵌入聚合。采用元素嵌入求和生成多阶用户/项目嵌入，利用它们的内积估计用户与项目之间的交互偏好得分，形式显示如下：

成对的边际损失定义如下：

Hypergraph-enhanced Contrastive Learning与其他文章相似，本文使用对比损失InfoNCE，以最大限度地提高正对的一致性，最小化负对的一致性：

项目的对比损失也是类似的计算方式，最后，本文将超图对比损失与CF损失整合到一个统一的目标中：

实验

下图是HCCF与其他方法的性能对比。

[ICLR 2023] LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION

URL: https://arxiv.org/abs/2302.08191

本文提出，尽管大多数现有的图对比学习方法都很成功，但它们要么对用户-项目交互图执行随机增强（例如，节点/边缘扰动），要么依赖于基于启发式的增强技术（例如，用户聚类）来生成对比视图。文章认为这些方法不能很好地保留内在的语义结构，而且很容易受到噪声扰动的影响。因此，本文提出了一个简单而有效的图对比学习范式LightGCL，利用奇异值分解进行对比增广，使全局协同关系建模实现无约束结构细化。

方法

如图所示为本文所提的LightGCL的主要流程，LightGCL是一个轻量级的图对比学习范式，与提取局部图依赖关系的GCN主干（图的上半部分）互补，svd引导的增强（图的下半部分）使图与全局协作关系分析进行对比学习，以学习有效的用户和项目表示。

LOCAL GRAPH DEPENDENCY MODELING

本文采用了一个两层的GCN来聚合每个节点的相邻信息。在第l层中，聚合过程表示如下：

其中，和表示用户和项目的第l层聚合嵌入。σ表示LeakyReLU函数，是归一化邻接矩阵，为dropout函数，以缓解过拟合问题，本文在每一层中实现残差连接，以保留节点的原始信息：

节点的最终嵌入是其在所有层上的嵌入的总和，用户和项目之间的内积预测了用户对项目的偏好：

EFFICIENT GLOBAL COLLABORATIVE RELATION LEARNING

为了使图对比学习与全局结构学习一起进行推荐，本文为LightGCL配备了SVD方案，以便从全局的角度有效地提取重要的协作信号。然而，在大型矩阵上执行精确的SVD是非常昂贵的，这使得处理大规模用户项矩阵不现实。因此，文章采用Halko et al.（2011）提出的随机SVD算法，其关键思想是首先用低秩标准正交矩阵近似输入矩阵的范围，然后对这个较小的矩阵进行SVD:

其中，q是分解矩阵所需的秩。最后的消息传播规则与近似矩阵和嵌入的集体表示如下：

其中，和是从新生成的图结构视图中编码的用户和项目嵌入的集合。

SIMPLIFIED LOCAL-GLOBAL CONTRASTIVE LEARNING

传统的GCL方法如SGL和SimGCL通过构建两个额外的视图来对比节点嵌入，而从原始图（主视图）生成的嵌入并不直接参与InfoNCE损失。采用这种繁琐的三视图范式的原因可能是，用于增强图的随机扰动可能会为主视图嵌入提供误导性的信号。而在本文提出的方法中，增强图视图是通过全局协作关系创建的，这可以增强主视图的表示。因此，本文通过直接对比svd增强的视图嵌入与主视图嵌入来计算InfoNCE损失中，从而简化CL框架：

项目的InfoNCE损失也以相同的方式定义。最后，对比损失与推荐任务的主要目标函数共同优化：

实验

下图是LightGCL与其他方法的性能与效率对比。

其中，。

[WSDM 2023] Knowledge-Adaptive Contrastive Learning for Recommendation

URL: https://dl.acm.org/doi/10.1145/3539597.3570483

本文提出，通过对用户-项目交互和知识图（KG）信息的联合建模，基于KG的推荐系统在缓解数据稀疏性和冷启动问题方面显示出了其优越性。然而，作者认为现有的方法有以下两个限制。(1) 交互主导：用户-项目交互的监督信号将主导模型训练，因此KG的信息几乎没有编码在学习项目表示中；(2) 知识过载：KG包含大量与推荐无关的信息，在GNNs的消息聚合过程中，这些噪声会被放大。上述限制阻碍了现有的方法充分利用KG中有价值的信息。上述限制阻碍了现有的方法充分利用KG中有价值的信息。在本文中，作者提出了一种新的算法知识-自适应对比学习（KACL）来解决这些挑战，分别从用户-项目交互视图和KG视图生成数据增强，并在两个视图执行对比学习。

方法

如图所示为本文所提的KACL的主要流程。本工作和许多以前的基于KG的推荐系统中一样，使用同样的GNN体系作为骨干，接着利用提出的KACL算法来学习高质量的表示，最后，本文介绍了如何通过多任务学习的方式来训练模型。

Knowledge-Adaptive Contrastive Learning

对比学习部分由三个关键部分组成：(1)分别从交互图和知识图生成视图；(2)增强图上用户/项目/实体的关系感知结构编码；(3)通过对比学习任务完成两个视图信息共享编码。

Adaptive Data Augmentation on Graph Structure

与之前基于CL的研究中的数据增强方法只提取特定类型节点之间的关系不同，本文提出在增强视图中保留节点/边缘的异构性。这种异构性可以保留更多的原始数据信息，这对于知识视图是必不可少的，因为不同关系对推荐的贡献是很大的。具体来说，本文提出的方法首先通过随机去除一定比例的边来破坏输入图，然后分别使用两个可学习的视图生成器来进一步去除不重要的边，得到交互图和知识图的采样子集。为了进一步过滤掉噪声和与推荐无关的信息，本文引入了两个视图生成器（即交互视图生成器和知识视图生成器），生成器将建模一个重赋值的重要性权重，并计算每个边𝑒的采样概率。如果 = 1，Edge 𝑒将保留，否则删除。

对于交互式图生成器，边的权重的定义如下:

其中e代表边(u,v),h是用户和项目的embedding，是随机变量，是Sigmoid函数，是交互视图的温度控制系数。

与交互视图相比，知识视图具有多种类型的关系。之前的研究表明，不同关系的语义和重要性有很大的差异，KG中存在大量与推荐无关的交互。为了解决这个问题，本文通过联合考虑实体和关系，在知识视图对边权进行建模。权重可以通过以下方法计算：

其中，为关系𝑟的变换矩阵，e为实体嵌入。得分越高，就表明这三联体更有可能在推荐中有用。因此在得到权重后，可以以类似于交互视图生成器的方式生成基于KG的增强视图，并使用超参数来控制概率。

Relation-aware Graph Attention for Node Encoding

虽然GNNv1的体系结构在为交互视图建模方面很强大，但由于忽略了关系类型，它可能不是知识视图的最佳选择。为了解决这一问题，本文通过考虑关系的影响，扩展了原有的注意机制，得到了专门用于知识视图的异构图编码器GNNv2。具体来说，本文首先为每个关系和实体分配一个可学习的嵌入，然后通过将关系嵌入来计算注意得分：

其中，e是实体嵌入向量，r是关系类型，是关系类型的嵌入向量。

Model Prediction and Optimization

由于对比学习模块只关注以自我监督的方式学习项目表示，而忽略了协同过滤的监督。因此，本文提出一个额外的推荐损失来了解用户偏好：

最终，本文利用多任务训练策略来联合优化推荐损失、对比学习损失和知识图正则化项。总体损失函数为：

其中，是超参数，用来控制多个损失函数之间的平衡，为推荐任务的损失，为对比损失，为一个辅助正则化项，用来在推荐系统中更好地对KG进行编码。

实验

下图是KACL与其他方法的性能对比。

总结

前两篇工作分别代表了两类图对比学习方法，随机增广策略，启发式引导表征对比方案。随机增广策略提供带有随机噪声扰动的嵌入增强(例如，节点下降和边缘扰动)，存在可能丢失有用的结构信息，误导表征学习的缺点；启发式引导表征对比方案，在结构相邻节点和语义相邻节点之间追求一致的表示，可以在一定程度上解决第一类方法的缺点，但是也限制了模型的通用性，容易受到用户行为噪声的影响。在第三篇工作中，提供了一种简单且高效的方法，图的增强是由奇异值分解(SVD)引导的，而不是生成两个手工制作的增强视图，这样图对比学习范式可以很好地保留用户-物品交互的重要语义。但是，基于SVD分解的办法往往不具备可解释性，因此也并不是完美的。第四篇工作则提出了一种基于KG的推荐模型KACL，突破了典型的基于CKG的范式的限制。