AAAI 2024 ｜ FairSIN：通过敏感信息中和来实现公平的图神经网络

 FairSIN : Achieving Fairness in Graph Neural Networks through Sensitive Information Neutralization

作者：杨成，刘纪玺，严云鹤，石川

单位：北京邮电大学

前言：尽管图神经网络（GNNs）在建模图结构数据方面取得了显著的成功，但与其他机器学习模型一样，GNNs也容易由于敏感属性（如种族和性别）的存在做出偏倚的预测。出于公平性考虑，最近的最先进（SOTA）方法提出从输入或表示中过滤掉敏感信息，例如边缘删除或特征屏蔽。然而，我们认为基于过滤的策略可能会过滤掉一些非敏感特征信息，导致预测性能和公平性之间的次优权衡。为解决这一问题，我们提出了一种创新的中和基于范式，其中在消息传递之前将额外的公平性促进特征（F3）纳入节点特征或表示中。F3被期望在统计上中和节点表示中的敏感偏差，并提供额外的非敏感信息。我们还对我们的理论进行了解释，得出结论：F3可以通过强调每个节点的异构邻居的特征（具有不同敏感属性的邻居）来实现。我们将我们的方法命名为FairSIN，并从数据中心和模型中心的角度提供了三种实现变体。在三种不同的GNN骨干上对五个基准数据集的实验结果表明，FairSIN显著提高了公平性指标，同时保持了高的预测准确性。代码和附录在:

https://github.com/BUPT-GAMMA/FairSIN

一、介绍

图神经网络（GNNs）展现了它们在建模结构化数据方面的强大能力，并广泛应用于各种应用场景，例如电子商务和药物发现。然而，最近的研究表明，GNNs的预测可能会偏向于某些由敏感属性定义的人群，例如种族和性别。在决策关键的应用场景，比如信用评估，GNNs做出的具有歧视性的预测可能会引起严重的社会关注。

通常，GNN预测中的偏差可以归因于节点特征和图拓扑结构的双重因素：(1) 节点的原始特征可能与敏感属性统计相关，从而在编码表示中导致敏感信息泄露。(2) 根据同质性效应，具有相同敏感属性的节点倾向于相互连接，这将导致在消息传递过程中相同敏感组中的节点表示更加相似。

为了解决敏感偏见的问题，研究人员已将公平性考虑引入到GNNs中。近期的方法通常尝试通过启发式或对抗性约束来减轻敏感信息的影响，并将其从输入或表示中滤除。例如，采用反事实正则化来扰动节点特征并删除边。借助对抗性鉴别器，学习自适应表示掩码以排除敏感相关信息。然而，如图1所示，我们认为这种基于过滤的策略可能也会滤除一些非敏感的特征信息，导致准确性和公平性之间的子优化平衡。

图1: 对敏感信息中和的动机说明。这里我们假设由+/-表示的二进制敏感群组，并且+/-的数量表示节点表示中敏感信息泄漏的强度。(a) 消息传递将聚合非敏感特征信息（点符号）和敏感偏见（+/- 符号）; (b) 当前的SOTA方法通常是基于过滤的（例如，删除边缘或特征遮蔽），这可能会丢失大量的非敏感信息; (c) 我们提出的中和基于策略引入F3来统计中和敏感偏见并提供额外的非敏感信息。

基于此，我们提出了一种基于中和的新范式，如图(c)所示。其核心思想是向节点特征或表示中引入额外的促公平特征（F3），以便对敏感偏见（+/- 符号）进行中和。我们期望F3还能提供额外的非敏感特征信息（点符号），从而实现更好的预测性能和公平性之间的权衡。具体来说，我们展示了消息传递如何加剧了敏感偏见。因此我们得出结论，在消息传递之前可以通过强调每个节点的异质邻居（具有不同敏感属性的邻居）的特征作为 F3 来消除偏见。但是，在真实世界的图中，一些节点的异质邻居非常少，甚至没有，这使得计算 F3 变得不可行或非常不确定。因此，我们建议训练一个估计器来预测给定其自身特征的节点的异质邻居的平均特征或表示。通过这种方式，具有丰富异质邻居的节点可以通过估计器将它们的知识传递给其他节点。我们将我们的方法命名为 FairSIN，并从以数据为中心和以模型为中心两种角度提出了三种实现变体。在具有三种不同GNN骨干结构的五个基准数据集上的实验结果证明了我们提出的方法的动机和有效性。

我们的贡献如下：

1. 1. 我们提出了一种新颖的基于中和的范式，用于学习公平的GNN模型，该范式引入了促公平特征（F3）到节点特征/表示中，以消除敏感属性的偏见并提供额外的非敏感信息。

2. 2. 我们展示了 F3 可以通过强调每个节点的异质邻居的特征来实现，并进一步提出了FairSIN的三种有效变体。

3. 3. 实验结果表明，与最近的SOTA方法相比，所提出的FairSIN能够在预测性能和公平性之间达到更好的权衡。

二、FairSIN的实现

受上述动机的启发，我们将从数据中心和模型中心的两个角度提出三种实现变体。我们将我们的方法命名为textit{通过敏感信息中和实现公平的图神经网络}（FairSIN）。

以数据中心的变体。对于以数据为中心的实现，我们将采用预处理方式，在训练GNN编码器之前修改图结构或节点特征。

（1）在图修改方面，我们可以简单地更改邻接矩阵中的边权重：

其中 δ>0为超参数。我们将这个变体称为FairSIN-G。

（2）在特征修改方面，我们首先计算每个节点 vi 的异质邻居的平均特征作为 xidiff=∣Nidiff∣1∑vj∈Nidiffxj ，其中 Nidiff 是 vi 的异质邻居集。这里 xidiff 也可以被视为前面小节中定义的随机变量 xidiff 的期望估计。

然而，现实世界中的一些图中的节点具有非常少甚至没有异质邻居，这使得计算 xidiff 变得不可行或非常不确定。为了解决这个问题，我们提出训练一个多层感知器（MLP）来估计 xidiff ：

通过最小化上述均方误差（MSE）损失，具有丰富异质邻居的节点可以通过MLP将它们的知识传递给其他节点。然后我们将每个节点 vi 的特征中和为 x~i=xi+δMLPϕ(xi) ，并将此变体命名为FairSIN-F。

以模型为中心的变体。以模型为中心的变体通过联合学习MLP ϕ 和GNN编码器进一步扩展了FairSIN-F。给定一个 K 层的GNN，我们将第 k 层中所有节点的表示矩阵表示为 Hk 。与FairSIN-F类似，我们可以在每一层进行中和操作：

H~kHk+1=Hk+δkMLPϕk(Hk),=MessagePassing(H~k),

其中 H0=X 是节点特征矩阵， δk 和 MLPϕk 可以为每一层定制。我们在每一层 k 中定义MSE损失为 LFk 。

按照最近的SOTA方法对公平GNNs的处理，我们还引入了一个鉴别器模块来对编码后的表示施加额外的公平性约束。具体来说，我们使用另一个MLP ψ 来实现鉴别器，并让它基于GNN编码器编码的最终表示来预测敏感属性。我们使用二元交叉熵（BCE）损失 LD 来训练鉴别器，并要求GNN编码器和MLP ϕ 最大化 LD 作为对手。此外，我们将下游分类任务的交叉熵损失表示为 LT 。

对于参数训练，我们依次执行以下步骤：（1）通过最小化 LFk−LD 来更新每个MLP ϕk ；（2）通过最小化 LT−LD 来更新GNN编码器；以及（3）通过最小化 LD 来更新鉴别器MLP ψ 。该变体则是我们的全模型FairSIN。

三、实验

主实验和消融实验

模型中心变体FairSIN的有效性。在这里，我们展示FairSIN的结果，以证明我们的中和基于策略可以在性能和公平性之间达到更好的平衡。如主表所示，FairSIN在不同的GNN编码器下具有最佳的整体分类性能和群体公平性。在公平性方面，与表现最佳的基线相比，FairSIN分别将DP和EO减少了63.29%和33.82%。此外，由于 F3 可以为每个节点引入额外的邻域信息，在许多情况下，FairSIN甚至可以在准确性指标上胜过原始编码器。与Bail相比，Pokec-n/Pokec-z几乎没有异质邻居。因此，FairSIN在Pokec数据集上的改进更为显著，与我们的动机和模型设计一致。

数据中心变体FairSIN-G和FairSIN-F的有效性。在这里，我们将我们提出的数据中心变体与之前的预处理方法EDITS以及原始编码器进行比较。从主表可以看出，FairSIN-G和FairSIN-F在保持准确性的同时平均提高了公平性，这证明了我们的敏感信息中和的想法。此外，FairSIN-G只是放大了现有的异质邻居的权重，这限制了它提供丰富信息的能力，因此，相比之下，FairSIN-G的预测性能较差。值得注意的是，作为一种预处理方法，FairSIN-F只比模型中心变体FairSIN稍逊一筹，并且优于先前的SOTA方法。因此，FairSIN-F为公平节点表示学习提供了一种经济实惠、模型无关且与任务无关的解决方案。

为了充分评估我们提出的FairSIN中每个组件的效果，我们考虑了两个消融模型：FairSIN w/o Discri.表示没有鉴别器的FairSIN版本，FairSIN w/o Neutral.表示其中 δ=0 的FairSIN版本。实验结果列在主表中。F3 在Bail数据集上的相对改进并不像在Pokec上那么显著，因为Bail数据集中的节点几乎具有相等数量的同质和异质邻居。总的来说，F3 和鉴别器都产生了积极的结果。然而，当鉴别器单独使用而不是作为指导 F3 学习的约束时，通常会导致预测精度降低。值得注意的是，单独使用 F3 的中和，即 FairSIN w/o Discri.，已经可以在公平性和准确性指标之间达到良好的平衡，并且是我们模型中最重要的设计。

超参数分析

δ 的值对于FairSIN至关重要，因为它可以控制引入的异质信息量。选择合适的 δ 值很重要，因为设置得太大可能会导致敏感信息在相反方向上的泄露。我们使用GCN编码器调查了超参数 δ 在{0, 0.5, 1, 2, 5, 10}范围内的影响，并将结果呈现在上图中。对于Pokec-n和Pokec-z数据集，我们观察到一个最佳值 δ=1 ，在这个值下可以实现预测性能和公平性之间的良好平衡。Pokec数据集上的异质邻居分布太稀疏，因此当 δ 增加到10时，公平性得到了改善。就Pokec-n的预测性能而言，当 δ 增加时，准确率和F1分数都呈下降趋势。至于Pokec-z，除了F1分数保持相对稳定外，观察到了类似的趋势。总的来说，过大的 δ 值会导致两个数据集的预测性能下降。这些观察结果与我们的中和思想一致。在German、Credit和Bail数据集上的超参数实验可以在附录中找到。

效率分析

如图所示，我们比较了我们的 FairSIN 在 Bail 和 Credit 数据集上与基线方法的训练时间成本。我们发现 FairSIN 的时间成本最低。因此，我们的方法既高效又有效，能够在各种场景中实现潜在的应用。FairVGNN 的时间成本较高是由于其参数数量较多以及对抗训练的过程。此外，EDITS需要对所有节点对之间的节点相似性进行建模以进行边的添加，因此时间复杂度较高。

四、结论

在本文中，我们提出了一种基于中性化的策略 FairSIN，用于学习公平的图神经网络（GNNs），在消息传递之前向节点特征或表示中添加额外的 F3。通过强调每个节点的异质邻居的特征，F3 可以同时中和节点表示中的敏感偏差并提供额外的非敏感特征信息。我们进一步从数据中心和模型中心的角度提出了三种实现变体。大量的实验结果证明了我们提出的方法的动机和有效性。

我们希望这项工作能为公平 GNN 领域提供一个新的范例，因此保持我们的实现尽可能简单。对于未来的工作，我们可以探索更广泛的感受野和更复杂的架构替代 F3 估计器中的 MLP。此外，当前的 F3 与下游任务无关，也有可能构建任务特定的 F3。此外，当我们需要同时处理多个敏感群体时，我们可以扩展 F3 来中和敏感属性的联合分布。

本期责任编辑：杨成

本期编辑：岳大帅

北邮 GAMMA Lab 公众号

主编：石川

责任编辑：杨成

编辑：岳大帅

长按下图并点击“识别图中二维码”

即可关注北邮 GAMMA Lab 公众号

原文始发于微信公众号（北邮 GAMMA Lab）：AAAI 2024 ｜ FairSIN：通过敏感信息中和来实现公平的图神经网络