《图表示学习》William Hamilton | PDF下载|ePub下载

创建

2024 年 9 月 2 日

查看

118

内容简介 · · · · · ·

《图表示学习》提供了一份关于图表示学习的综述。首先，本书讨论图表示学习的目标及图论和网络分析的关键方法论。然后，本书介绍并回顾了学习节点嵌入的方法，包括基于随机游走的方法以及在知识图谱上的应用。再后，本书对高度成功的图神经网络（ Graph Neural Network， GNN）进行了技术上的综合介绍， GNN已成为图数据深度学习领域占主导地位且迅速发展的范式。最后，本书总结了针对图的深度生成模型的最新进展，这是图表示学习新生但发展迅速的子集。

作者简介 · · · · · ·

威廉·汉密尔顿（William Hamilton）是麦吉尔大学（McGill University）计算机科学系的助理教授，也是加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）AI 方向的主席、GraphSAGE 的作者。他专注于图表示学习及其在计算社会科学和生物学中的应用。近年来，他在机器学习和网络科学领域的顶级会议发表了20 多篇关于图表示学习的论文，并且参与组织了关于该主题的几次大型研讨会，分享了多份重磅教程。

他的工作获得了多个奖项的认可，其中包括2017 年美国科学院Cozzarelli最佳论文奖和2018 年斯坦福大学计算机科学系Arthur Samuel 最佳博士论文奖等。

译者简介

AI TIME是 2019年由清华大学人工智能研究院张钹院士和清华大学计算机系唐杰教授、李涓子教授等人联合发起的圈子。AI TIME是一个开放、包容的组织，专注于探索AI科学、发扬科学思辨精神。我们邀请各界人士辩论AI本质，介绍学术前沿、展示研究机构风采，鼓励所有参与者用辩论的形式，平等、自由、充分地交流，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

目录 · · · · · ·

第一部分背景介绍
第1 章引言 ………………………………………………………………………………….. 2
1.1 什么是图 ……………………………………………………………………………… 3
1.1.1 多关系图 …………………………………………………………………… 4
1.1.2 特征信息 …………………………………………………………………… 5
1.2 图机器学习 ………………………………………………………………………….. 6
1.2.1 节点分类 …………………………………………………………………… 7
1.2.2 关系预测 …………………………………………………………………… 9
1.2.3 聚类和社区发现 ……………………………………………………….. 11
1.2.4 图的分类、回归与聚类 …………………………………………….. 11
第2 章背景与传统方法 …………………………………………………………………. 13
2.1 图统计特征与核方法 …………………………………………………………… 14
2.1.1 节点层面的统计特征 ………………………………………………… 14
2.1.2 图层面的特征和图核 ………………………………………………… 20
2.2 邻域重叠检测 …………………………………………………………………….. 23
2.2.1 局部重叠测量 …………………………………………………………… 25
2.2.2 全局重叠测量 …………………………………………………………… 26
2.3 图的拉普拉斯矩阵和图的谱方法 ………………………………………….. 32
2.3.1 图的拉普拉斯矩阵 ……………………………………………………. 32
2.3.2 图割与图聚类 …………………………………………………………… 35
2.3.3 广义谱聚类 ……………………………………………………………… 40
2.4 面向表示学习 …………………………………………………………………….. 41
第二部分节点嵌入
第3 章邻域节点重构 …………………………………………………………………….. 44
3.1 编码-解码框架 ……………………………………………………………………. 45
3.1.1 编码器 …………………………………………………………………….. 46
3.1.2 解码器 …………………………………………………………………….. 47
3.1.3 编码-解码模型的优化 ……………………………………………….. 48
3.1.4 编码-解码方法小结 …………………………………………………… 48
3.2 基于因式分解的方法 …………………………………………………………… 49
3.3 随机游走嵌入表示 ………………………………………………………………. 52
3.4 shallow embedding 的局限性 ………………………………………………… 56
第4 章多关系数据及知识图谱 ………………………………………………………… 58
4.1 重建多关系数据 ………………………………………………………………….. 59
4.2 损失函数 ……………………………………………………………………………. 60
4.3 多关系解码器 …………………………………………………………………….. 64
4.4 解码器的性能表征 ………………………………………………………………. 68
第三部分图神经网络（GNN）
第5 章图神经网络（GNN）模型 …………………………………………………….. 72
5.1 神经消息传递 …………………………………………………………………….. 74
5.1.1 消息传递框架概述 ……………………………………………………. 74
5.1.2 动机和思想 ……………………………………………………………… 76
5.1.3 基本的GNN …………………………………………………………….. 77
5.1.4 自环消息传递 …………………………………………………………… 79
5.2 广义邻域聚合 …………………………………………………………………….. 80
5.2.1 邻域归一化 ……………………………………………………………… 81
5.2.2 集合聚合操作 …………………………………………………………… 83
5.2.3 邻域注意力模型 ……………………………………………………….. 86
5.3 广义的更新方法 ………………………………………………………………….. 89
5.3.1 拼接和跳跃连接 ……………………………………………………….. 92
5.3.2 门控更新函数 …………………………………………………………… 94
5.3.3 跳跃知识连接 …………………………………………………………… 95
5.4 边特征和多元关系GNN ………………………………………………………. 96
5.4.1 关系GNN ………………………………………………………………… 96
5.4.2 注意力机制和特征拼接 …………………………………………….. 98
5.5 图池化 ……………………………………………………………………………….. 99
5.6 通用的消息传递方法 …………………………………………………………. 102
第6 章图神经网络（GNN）的实现 ………………………………………………… 104
6.1 应用和损失函数 ………………………………………………………………… 104
6.1.1 用于节点分类的GNN ……………………………………………… 105
6.1.2 用于图分类的GNN …………………………………………………. 107
6.1.3 用于关系预测的GNN ……………………………………………… 108
6.1.4 预训练GNN …………………………………………………………… 108
6.2 效率问题和节点采样 …………………………………………………………. 110
6.2.1 图级别的实现方法 ………………………………………………….. 110
6.2.2 子采样和小批量 ……………………………………………………… 111
6.3 参数共享与正则化 …………………………………………………………….. 112
第7 章图神经网络（GNN）的理论动机 ………………………………………….. 114
7.1 GNN 与图卷积 ………………………………………………………………….. 115
7.1.1 卷积与傅里叶变换 ………………………………………………….. 115
7.1.2 从时间信号到图信号 ………………………………………………. 118
7.1.3 谱图卷积 ……………………………………………………………….. 124
7.1.4 卷积启发的GNN ……………………………………………………. 129
7.2 GNN 和概率图模型 …………………………………………………………… 135
7.2.1 分布的希尔伯特空间嵌入 ………………………………………… 135
7.2.2 图作为图模型 …………………………………………………………. 136
7.2.3 嵌入平均场推断 ……………………………………………………… 137
7.2.4 更一般的GNN 和PGM …………………………………………… 141
7.3 GNN 与图同构 ………………………………………………………………….. 141
7.3.1 图同构 …………………………………………………………………… 142
7.3.2 图同构与表示能力 ………………………………………………….. 143
7.3.3 WL 算法 ………………………………………………………………… 143
7.3.4 GNN 和WL 算法 ……………………………………………………. 145
7.3.5 超越WL 算法 ………………………………………………………… 148
第四部分生成图模型
第8 章传统图生成方法 ……………………………………………………………….. 158
8.1 传统方法概述 …………………………………………………………………… 159
8.2 ERDÖS–RÉNYI 模型 ………………………………………………………… 159
8.3 随机块模型 ………………………………………………………………………. 160
8.4 优先链接模型 …………………………………………………………………… 161
8.5 传统应用 ………………………………………………………………………….. 163
第9 章深度生成模型 …………………………………………………………………… 165
9.1 VAE 方法 …………………………………………………………………………. 166
9.1.1 节点级隐表示 …………………………………………………………. 169
9.1.2 图级别的隐表示 ……………………………………………………… 172
9.2 对抗方法 ………………………………………………………………………….. 176
9.3 自回归模型 ………………………………………………………………………. 178
9.3.1 边依赖建模 ……………………………………………………………. 178
9.3.2 循环图生成模型 ……………………………………………………… 179
9.4 图生成的评估 …………………………………………………………………… 184
9.5 分子图生成 ………………………………………………………………………. 185
后记 ……………………………………………………………………………………………. 187
致谢 ……………………………………………………………………………………………. 190
· · · · · ·