本书是由GAMMA Lab实验室推出,全面介绍了图神经网络的基础和前沿问题,主要分为以下三个部分:
Part 1:GNNs的基本定义和发展(Chaps. 1 - 2);
我们首先概述了不同图的基本概念,以及图神经网络的发展,包括几个典型的图神经网络。这一部分将帮助读者迅速了解这个领域的整体发展。特别是在第1章,将总结基本概念和定义,以及图神经网络的发展。第二章将介绍基本的图神经网络,包括GCN,GAT,GraphSAGE,HAN等。 Part 2:GNNs的前沿课题(Chaps. 3 - 7);
我们接着对有代表性的图神经网络技术进行了深入而详细的介绍。该部分将帮助读者了解该领域的基本问题,并说明如何为这些问题设计高级图神经网络。特别是第三章讨论了同质图神经网络,包括多通道图神经网络等。第4章介绍了异质图神经网络,主要集中在异质图传播网络等。之后,我们在第五章中介绍了动态图神经网络,其中考虑了时态图、动态异质Hawkes process和时态异质图。然后,在第六章中,我们介绍了双曲图神经网络,包括双曲图注意网络和洛伦兹图卷积神经网络等。最后,第七章介绍了蒸馏图神经网络,包括图神经网络的知识蒸馏和对抗性知识蒸馏等。 Part 3:GNNs的未来发展方向(Chaps. 8)。
我们做出结论并讨论了未来的研究方向。尽管有大量的图神经网络方法被提出,许多重要的开放性问题仍然没有得到很好的探索,例如图神经网络的鲁棒性和公平性。当图神经网络被应用于现实世界的应用,特别是一些风险敏感的领域时,这些问题仍需要被仔细考虑仔细考虑。 📖一言以蔽之,本书从图表示学习的基础知识开始,广泛地介绍了GNNs的前沿研究方向,包括heterogeneous GNNs, dynamic GNNs, hyperbolic GNNs, distilling GNNs等。一方面基本知识可以帮助读者迅速了解GNNs的优点,另一方面各种前沿GNNs则有望激发读者开发自己的模型。相信,无论是初学者还是来自学术界或工业界的研究人员,相信都会从本书的内容中受益。
✏️chapter 3-Homogeneous Graph Neural Networks
所谓同质图,是指图中只有一种类型的节点和边,如引文网络,只有朋友关系的社交网络等,与异质图相比网络结构较为简单,是一种简化。因此,同质图神经网络通常只需要聚合单一类型的邻居来更新节点的表示即可,目前的图神经网络也主要针对同质图设计。
3.1 章节介绍
-
在3.2节中,我们首先介绍了GCN在节点特征和拓扑结构的融合上存在着不足的研究结果。基于此,提出了一种新的 GNN,即自适应多通道图卷积网络(AM-GCN),用于在消息传递过程中自适应地聚合特征和结构信息。
-
在3.3节介绍频率自适应图卷积网络(FAGCN),它可以自适应地聚合低频和高频信息。FAGCN设计了一种广义的注意力机制,可以帮助现有的消息传递方法摆脱低通过滤。
-
在3.4节介绍了图估计神经网络(GEN),它可以为 GNN 学习更好的消息传递结构,即图拓扑。由于其强大的去噪和社区检测能力,GEN比GCN拥有更好的鲁棒性。
-
在3.5节中,我们引入了现有 GNN 的统一框架,将不同的消息传递函数总结为一个封闭形式的对象。这一发现可以帮助研究人员理解消息传递机制背后的原理。
3.2 Adaptive Multi-channel Graph Convolutional Networks(AM-GCN)
3.2.1 综述
-
首先发现问题。GCN取得巨大成功的一部分原因是GCN提供了一种关于拓扑结构和节点特征的融合策略来学习节点嵌入。然而,研究表明GCN在融合节点特征和拓扑结构方面存在着不足。
-
然后进行调研。我们设计了两个实验评估GCN在融合拓扑结构和节点特征方面的能力。实验表明,GCN在网络拓扑结构和节点特征上的融合能力显然与最优相去甚远。即使在节点特征/拓扑与节点标签之间的相关性非常明确的一些简单情况下,GCN 仍然无法充分融合节点特征和拓扑结构以提取最相关的信息。
-
最后提出解决方法。我们提出了一种用于半监督分类的自适应多通道图卷积网络 (AM-GCN)。中心思想是我们同时基于节点特征、拓扑结构及其组合来学习节点嵌入。在一系列基准数据集上的实验结果清楚地表明,AM-GCN 优于最先进的 GCN,并且可以很好地从节点特征和拓扑结构中提取最相关的信息,以应对具有挑战性的分类任务。
3.2.2 调研
-
实验 1:随机拓扑但节点特征与标签相关。我们生成一个节点标签与节点特征高度相关,但与拓扑结构无关的网络。即任意两个节点之间建立边的概率一定,而具有相同标签的节点,我们用同一种高斯分布来生成节点特征。我们分别用 GCN 和 MLP 来训练这个网络,其分类准确率分别为 75.2% 和 100%。由于节点特征与节点标签高度相关,因此 MLP 表现出优异的性能。 GCN同时从节点特征和拓扑结构中提取信息,但不能自适应地融合它们以避免拓扑结构的干扰,所以它无法与 MLP 的高性能相提并论。
-
实验 2:拓扑与标签相关但节点特征随机。我们生成一个节点标签与拓扑结构高度相关,但与节点特征无关的网络。即节点特征随机生成,但对于拓扑结构,我们使用随机块模型 (SBM) 将节点分成 3 个社区,同一社区内的点之间产生边的概率大于不同社区间的,并且同一社区的标签相同。我们分别将 GCN 和 DeepWalk 用于该网络,其分类准确率分别为 87% 和 100%。GCN同时从节点特征和拓扑结构中提取信息,但不能自适应地融合它们以避免节点特征的干扰,所以它无法与 DeepWalk 的高性能相提并论。
3.2.3 AM-GCN方法
3.2.3.1 AM-GCN的整体框架
3.2.3.2 特殊卷积模块
3.2.3.3 共享卷积模块
3.2.3.4 注意力机制模块
3.2.3.5 约束
3.2.3.6 损失函数
3.2.4 实验
3.3 Beyond Low-Frequency Information in Graph Convolutional
3.3.1 综述
-
首先发现问题。一般来说,GNNs通过聚合来自邻居的信息来更新节点表示,这可以看作是低通滤波器的一种特殊形式。研究表明,信号的平滑度,即低频信息,是 GNN 成功的关键。然而,我们只需要低频信息吗?其他信息在 GNN 中扮演什么角色?
-
然后进行调研。我们以低频和高频信号为例,并通过实验来评估它们的作用。结果清楚地表明,它们都有助于学习节点表示。具体来说,我们发现当网络表现出不协调性时,高频信号的性能要好于低频信号。这意味着当前 GNN 很大程度上消除的高频信息并不总是无用的,而低频信息对于复杂网络并不总是最优的。
-
最后提出解决方法。我们设计了一个频率自适应图卷积网络FAGCN,以自适应地聚合来自邻居或自身的不同信号。我们首先采用图信号处理理论来正式定义增强型低通和高通滤波器,以将低频和高频信号与原始特征分离。然后我们设计了一种自门控机制来自适应地集成低频信号、高频信号和原始特征。在六个真实世界网络上进行的大量实验验证了 FAGCN 比现有技术具有优势。
3.3.2 调研
3.3.3 FAGCN的方法
3.3.3.1 分离高频和低频信息
3.3.3.2 聚合
3.3.4 实验
长按下图并点击“识别图中二维码”
即可关注北邮 GAMMA Lab 公众号
- 左青龙
- 微信扫一扫
- 右白虎
- 微信扫一扫
评论