《智能计算系统 从深度学习到大模型 第2版》陈云霁 等 编 | PDF下载|ePub下载
智能计算系统 从深度学习到大模型 第2版 版权信息
- 出版社：机械工业出版社
- 出版时间：2024-07-01
- ISBN：9787111755951
- 条形码：9787111755951 ; 978-7-111-75595-1
智能计算系统 从深度学习到大模型 第2版 本书特色
·全面贯穿人工智能整个软硬件技术栈
·以应用驱动，形成智能领域的系统思维
·以大模型为牵引，为通用人工智能提供支撑
智能计算系统 从深度学习到大模型 第2版 内容简介
本书由中科院计算所、软件所的专家学者倾心写就，以“图像风格迁移”应用为例，全面介绍智能计算系统的软硬件技术栈。第2版以大模型为牵引进行更新，第1章回顾人工智能、智能计算系统的发展历程，第2、3章在介绍深度学习算法知识的基础上增加了大模型算法的相关知识，第4章介绍深度学习编程框架PyTorch的发展历程、基本概念、编程模型和使用方法，第5章介绍编程框架的工作原理，第6章回顾深度学习所用的处理器结构从通用逐步走向专用的过程，第7章介绍深度学习处理器的体系结构应当如何应对大模型处理中的计算、访存、通信瓶颈，第8章介绍基于BCL语言的高性能算子开发优化实践，第9章介绍面向大模型的计算系统并以BLOOM作为驱动范例。
本书适合作为高等院校相关专业的教材，也适合人工智能领域的科研人员参考。
智能计算系统 从深度学习到大模型 第2版 目录
丛书序言
序言一
序言二
第 2 版前言
第 1 版前言
第 1 章 概述 1
1.1 人工智能1
1.1.1 什么是人工智能 1
1.1.2 人工智能的主要方法1
1.1.3 人工智能的发展历史5
1.2 智能计算系统 8
1.2.1 什么是智能计算系统8
1.2.2 为什么需要智能计算系统8
1.2.3 智能计算系统的发展9
1.3 驱动范例 12
1.4 本章小结 13
习题.14
第 2 章 深度学习基础15
2.1 机器学习 15
2.1.1 基本概念15
2.1.2 线性回归16
2.2 神经网络 19
2.2.1 感知机19
2.2.2 多层感知机 22
2.2.3 深度学习23
2.2.4 神经网络的发展历程24
2.3 神经网络的训练方法 26
2.3.1 正向传播26
2.3.2 反向传播29
2.4 神经网络的设计基础 30
2.4.1 网络的拓扑结构30
2.4.2 激活函数31
2.4.3 损失函数35
2.5 过拟合与正则化 38
2.5.1 过拟合38
2.5.2 正则化39
2.6 交叉验证 44
2.7 本章小结 46
习题 47
第 3 章 深度学习应用48
3.1 适合图像处理的卷积神经网络 48
3.1.1 卷积神经网络的总体结构 49
3.1.2 应用于图像分类的卷积神经
网络.60
3.1.3 应用于图像目标检测的卷积神
XXI
经网络79
3.1.4 应用于图像生成的神经网络95
3.2 适合文本/语音处理的循环神经
网络110
3.2.1 RNN110
3.2.2 LSTM 114
3.2.3 GRU117
3.2.4 小结118
3.3 大模型118
3.3.1 Seq2Seq119
3.3.2 注意力机制120
3.3.3 Transformer124
3.3.4 自然语言处理大模型 126
3.3.5 图像处理和多模态大模型 139
3.3.6 基于大模型的智能体系统 152
3.3.7 小结156
3.4 神经网络的优化157
3.4.1 初始化方法158
3.4.2 梯度下降法159
3.4.3 动量法 163
3.4.4 二阶优化方法 164
3.4.5 自适应学习率算法165
3.5 神经网络量化 167
3.5.1 数据量化 169
3.5.2 神经网络量化过程173
3.5.3 神经网络量化应用174
3.5.4 神经网络的混合精度量化.175
3.5.5 大模型量化176
3.5.6 小结177
3.6 驱动范例 177
3.6.1 图像风格迁移简介177
3.6.2 基于卷积神经网络的图像风格
迁移算法 178
3.6.3 实时图像风格迁移算法 181
3.7 本章小结 182
习题 183
第 4 章 编程框架使用 184
4.1 编程框架概述 184
4.1.1 为什么需要编程框架 184
4.1.2 编程框架的发展历程 186
4.2 PyTorch 概述 187
4.3 PyTorch 编程模型及基本
用法188
4.3.1 NumPy 基础 188
4.3.2 张量194
4.3.3 操作202
4.3.4 计算图 206
4.4 基于 PyTorch 的模型推理
实现208
4.4.1 读取输入图像 210
4.4.2 构建神经网络 214
4.4.3 实例化神经网络模型 222
4.4.4 神经网络模型的调试 226
4.4.5 神经网络模型优化228
4.5 基于 PyTorch 的模型训练
实现231
4.5.1 加载训练数据集 231
4.5.2 模型训练 233
4.5.3 模型的保存与恢复239
4.6 驱动范例 241
4.6.1 加载依赖包241
4.6.2 加载并显示内容图像和
风格图像 242
4.6.3 创建输入图像 243
4.6.4 定义并计算损失函数 244
4.6.5 构建风格迁移算法247
XXII
4.6.6 风格迁移算法运行248
4.7 本章小结 249
习题 249
第 5 章 编程框架原理 250
5.1 编程框架设计 250
5.1.1 设计原则 250
5.1.2 整体架构 251
5.2 计算图构建 252
5.2.1 正向计算图构建 253
5.2.2 反向计算图构建 256
5.3 计算图执行 260
5.3.1 设备管理 260
5.3.2 张量实现 262
5.3.3 算子执行 269
*5.4 深度学习编译 278
5.4.1 为什么需要深度学习编译 278
5.4.2 图层级编译优化 281
5.4.3 算子层级编译优化287
5.4.4 常见深度学习编译器 294
*5.5 分布式训练299
5.5.1 为什么需要分布式训练 300
5.5.2 分布式训练基础 300
5.5.3 分布式训练方法 305
5.5.4 分布式训练框架实现 312
5.6 本章小结 318
习题 319
第 6 章 面向深度学习的处理器原理320
6.1 通用处理器 320
6.1.1 通用处理器的执行原理 321
6.1.2 通用处理器的结构发展 323
6.1.3 通用处理器分析和优化 339
6.1.4 总结和讨论346
6.2 向量处理器 347
6.2.1 向量处理器的执行原理 347
6.2.2 向量处理器的结构发展 352
6.2.3 向量处理器分析和优化 359
6.2.4 总结和讨论363
6.3 深度学习处理器364
6.3.1 深度学习处理器的执行
原理364
6.3.2 深度学习处理器的结构
发展376
6.3.3 总结和讨论382
6.4 大规模深度学习处理器382
6.4.1 一致性访存模型 383
6.4.2 非一致性访存模型384
6.4.3 分形计算模型 386
6.4.4 深度学习处理器示例 386
6.5 本章小结 387
习题 387
第 7 章 深度学习处理器架构.389
7.1 计算389
7.1.1 矩阵运算单元 390
7.1.2 向量与标量单元 400
7.1.3 总结和讨论408
7.2 存储409
7.2.1 便笺存储器409
7.2.2 外部存储器访问 412
7.2.3 总结和讨论417
7.3 通信418
7.3.1 互联网络 419
7.3.2 集合通信原语 420
7.3.3 通信架构设计 424
7.3.4 总结和讨论426
*7.4 设计优化 426
7.4.1 变换427
XXIII
7.4.2 压缩429
7.4.3 近似431
7.4.4 非传统结构和器件434
7.5 本章小结 437
习题 437
第 8 章 智能编程语言 439
8.1 为什么需要智能编程语言439
8.1.1 语义鸿沟 440
8.1.2 硬件鸿沟 442
8.1.3 平台鸿沟 445
8.1.4 小结445
8.2 智能计算系统抽象架构446
8.2.1 抽象硬件架构 447
8.2.2 典型智能计算系统447
8.2.3 控制模型 448
8.2.4 存储模型 449
8.2.5 计算模型 450
8.3 智能编程模型 450
8.3.1 异构编程 450
8.3.2 多核并行 452
8.3.3 存储空间 454
8.4 智能编程语言基础 455
8.4.1 语法概述 455
8.4.2 内建变量与内建函数 457
8.4.3 BCL 程序示例458
8.5 智能应用编程接口 459
8.5.1 核函数接口459
8.5.2 运行时接口460
8.5.3 使用示例 462
8.6 智能应用功能调试 465
8.6.1 功能调试方法 465
8.6.2 功能调试接口 470
8.6.3 功能调试工具 472
8.6.4 精度调试方法 474
8.6.5 功能调试实践 476
8.7 智能应用性能调优 483
8.7.1 性能分析工具 483
8.7.2 性能调优方法 489
8.8 智能编程语言的应用 495
8.8.1 高性能算子开发 496
8.8.2 编程框架算子开发502
8.9 本章小结 509
习题 509
第 9 章 大模型计算系统511
9.1 大模型算法分析512
9.2 大模型驱动范例：BLOOM 516
9.2.1 BLOOM-176B 模型 516
9.2.2 BLOOM-176B 运行平台517
9.2.3 BLOOM-176B 计算过程及
分析518
9.3 大模型系统软件524
9.3.1 训练场景 525
9.3.2 推理场景 530
9.4 大模型基础硬件534
9.4.1 大模型计算节点 534
9.4.2 大模型计算集群 538
9.5 本章小结 541
习题 541
参考文献 544
后记566
智能计算系统 从深度学习到大模型 第2版 相关资料
陈国良 中国科学院院士 中国科学技术大学教授，首届全国高校教学名师 陈云霁等人梳理了深度学习和大模型等人工智能技术对计算系统的需求，开创了我国第一门讲授当代智能计算系统的课程，编写了我国第一本智能计算系统教材。这套课程和教材应用在我国百所高校的教学中，对我国人工智能人才培养产生了广泛而深远的影响。 李国杰 中国工程院院士 中国计算机学会名誉理事长，中国科学技术大学计算机学院原院长 这本教材采用“应用驱动，全栈贯通”的原则，以“图像风格迁移”这一具体的智能应用为牵引，对智能计算系统各层软硬件技术栈的奥妙和联系进行精确、扼要的介绍，使学生对系统全貌有深刻印象，达到举一反三、触类旁通的效果。 孙凝晖 中国工程院院士 中国计算机学会理事长、中国科学院学术委员会主任，中国科学院大学计算机学院院长 计算所的学科优势是计算机系统与算法。计算所智能处理器研究中心在智能方向打通了系统与算法，再将这些科研优势辐射到教学，写出了这本代表计算所学派特色的教材。读者从中不仅能学到知识，也能一窥计算所做学问的方法。 张宏江 美国工程院外籍院士 北京智源人工智能研究院首任理事长 人工智能是一个高速发展的科研领域和创新产业，因此，写好人工智能教材是一项非常大的挑战，需要走在科研前沿的研究者。作为北京智源研究院智能体系结构方向的首席科学家，陈云霁研究员及其同事编写的这本教材，深入浅出地介绍了当代机器学习计算系统软硬件技术栈的知识，其系统性、全面性在国内外都非常难得，值得每位人工智能方向的读者阅读。 张亚勤 中国工程院外籍院士 清华大学智能产业研究院院长 AI给传统的计算体系带来了巨大的颠覆，芯片、架构、框架、编程语言、算法和理论都需要整体的重构。作者深层次、全栈性地解析了AI的关键理论和技术，又通过图像风格迁移实例生动地演示了AI实践。这是一本好书，尤其适合作为高年级本科生/研究生的教材和科技人员的参考书，我大力推荐！ 郑南宁 中国工程院院士 西安交通大学原校长 智能计算系统是支撑大模型等下一代人工智能技术发展的不可或缺的载体。本书作为我国第一本讲授当代智能计算系统完整技术体系的教材，既有深度也有广度，对于人工智能专业人才的培养具有重要价值，同时也是一份不可多得的学习资料，值得从事人工智能基础软硬件研究的工程师和研究人员阅读。 郑纬民 中国工程院院士 中国计算机学会原理事长，清华大学计算机系教授 本书对人工智能软硬件技术栈（包括智能算法、智能编程框架、智能芯片结构、智能编程语言等）进行了全方位、系统性的介绍，内容深入浅出，非常适合培养学生的系统思维。到目前为止，国内外少有同类书。本书适合作为高等院校相关专业的教材，对于人工智能相关科研和产业人员，本书也是很好的参考书。 周志华 欧洲科学院院士 国际人工智能联合会理事会主席，南京大学计算机系主任兼人工智能学院院长 本书覆盖了神经网络基础算法、深度学习编程框架、芯片体系结构等，是国内第一本关于深度学习计算系统的书籍。主要作者是寒武纪深度学习处理器基础研究的开拓者，基于一流科研水平成书，值得期待。
智能计算系统 从深度学习到大模型 第2版 作者简介
陈云霁 中国科学院计算技术研究所副所长、研究员、博导，处理器芯片全国重点实验室主任，中国科学院大学岗位教授，中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”，相关成果两获计算机体系结构顶级国际会议最佳论文奖，并已应用在上亿台智能手机和服务器中。他的学术论文受五大洲、三十个国家、数百个知名机构广泛跟踪引用。他被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”，并获我国处理器芯片领域迄今为止唯一的国家自然科学二等奖（第一完成人）。他还曾获国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、全国创新争先奖、何梁何利基金科学与技术创新奖、“青年长江学者”，并被MIT Technology Review 评为全球35位杰出青年创新者（2015
年度）。
赵永威 中国科学院计算技术研究所副研究员。研究方向为智能处理器体系结构。在ISCA、MICRO、Proc. IEEE等会议和期刊上发表学术论文20篇。曾获得中国计算机学会优秀博士学位论文奖、MICRO 2022最佳论文Runner-up奖。陈云霁 中国科学院计算技术研究所副所长、研究员、博导，处理器芯片全国重点实验室主任，中国科学院大学岗位教授，中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”，相关成果两获计算机体系结构顶级国际会议最佳论文奖，并已应用在上亿台智能手机和服务器中。他的学术论文受五大洲、三十个国家、数百个知名机构广泛跟踪引用。他被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”，并获我国处理器芯片领域迄今为止唯一的国家自然科学二等奖（第一完成人）。他还曾获国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、全国创新争先奖、何梁何利基金科学与技术创新奖、“青年长江学者”，并被MIT Technology Review 评为全球35位杰出青年创新者（2015
年度）。
李玲 中国科学院软件研究所研究员、博导，CCF高级会员，IEEE Senior Member。研究方向为智能计算。在相关领域出版中文教材2本、英文教材1本，发表30多篇CCF A类期刊和会议论文。曾获得CCF A类会议MICRO 2014最佳论文奖（该会议五十年来唯一一次美国以外国家获此奖）、中国科学院杰出科技成就奖等奖励。作为负责人主持过多项国家自然科学基金项目、国家重点研发计划课题、中国科学院先导C类专项课题等。
赵永威 中国科学院计算技术研究所副研究员。研究方向为智能处理器体系结构。在ISCA、MICRO、Proc. IEEE等会议和期刊上发表学术论文20篇。曾获得中国计算机学会优秀博士学位论文奖、MICRO 2022最佳论文Runner-up奖。
李威 中国科学院计算技术研究所副研究员。研究方向为高性能智能计算系统设计技术。作为负责人或骨干承担了国家重点研发计划课题、国家科技重大专项项目、国家自然科学基金、中国科学院战略性先导课题等。作为核心成员参与了多款深度学习处理器的研发，发表或录用学术论文30余篇，出版专著三部。
郭崎 中国科学院计算技术研究所研究员。长期从事计算机体系结构及人工智能相关研究。发表50余篇CCF A类期刊和会议论文。入选国家级青年人才，曾获得国家自然科学二等奖、中国科学院青年科学家奖、中国科学院杰出科技成就奖等。
文渊博 中国科学院计算技术研究所助理研究员。研究方向为智能处理器体系结构和系统软件。深度参与多款深度学习处理器的系统软件研发工作，在ASPLOS、MICRO、ICML、NeurIPS等顶级会议和期刊上发表论文10余篇。
张蕊 中国科学院计算技术研究所副研究员。研究方向为深度学习和处理器设计智能化，长期从事人工智能算法和软硬件协同相关的研究工作。先后在人工智能相关领域的国际顶级期刊和会议（包括IEEE Trans. on PAMI、NeurIPS、ICML、CVPR、ICCV、ICLR、AAAI、IJCAI等）上发表论文40余篇，申请专利20余项。多次荣获中国科学院计算技术研究所优秀科研人员称号。
