生成式AI入门与AWS实战 | PDF下载|ePub下载
出版社: 人民邮电出版社
原作名: Cracking the coding interview:150 programming questions and solutions,fifth edition
译者:李琳骁/漆犇
出版年: 2013-11
页数: 372
定价: 59.00元
装帧: 平装
ISBN: 9787115332912
内容简介 · · · · · ·
本书是专注于如何在AWS上开发和应用生成式AI的实用指南，旨在为技术领导者、机器学习实践者、应用开发者等提供深入了解和应用生成式AI的策略与方法。
本书首先介绍了生成式AI的概念及其在产品和服务中的应用潜力，然后详细阐述了生成式AI项目的完整生命周期。作者探讨了多种模型类 型，如大语言模型和多模态模型，并提供了通过提示工程和上下文学习来优化这些模型的实际技巧。此外，本书讨论了如何使用LoRA技术对模型进行微调，以及如何通过RLHF使模型与人类价值观对齐。书中还介绍了RAG技术，以及如何利用LangChain和ReAct等开发agent。最后，本书介绍了如何使用Amazon Bedrock构建基于生成式AI的应用程序。基于该强大的平台，读者可以实现自己的创新想法。
本书适合对生成式AI感兴趣的学生和研究人员、在AWS上开发AI应用程序的软件开发人员和数据科学家、寻求利用AI技术优化业务流程的企业决策者以及对技术趋势保持好奇心的科技爱好者阅读。
专业书评：
当前，生成式AI领域的发展日新月异，即便是对从业者来说，新的技术名词也可能让他们应接不暇。这本书不仅详细介绍了众多前沿技术名词及其应用场景，而且提供了一条清晰的路径。这条路径可以帮助任何对此感兴趣的读者整合应用这些技术，以构建完整的端到端应用程序，而不仅仅是停留在理论学习的层面。对希望将AI技术应用到实际场景中的从业者而言，这本书无疑是一份极具价值的资源，它能帮助他们在AI技术的落地应用方面取得实质性的进展。
——贾扬清，Lepton AI创始人兼CEO
这本书广泛且深入地覆盖了生成式AI的基础概念、核心理论与前沿实践。从基础知识出发，步步深入至模型的训练、微调和部署，直至创新应用的各个阶段。它不仅为生成式AI领域的初学者铺设了一条系统的学习路径，帮助他们构建了对这一复杂技术领域的宏观视野，而且为希望在AWS上构建可扩展的高性能生成式AI产品的从业者提供了深度洞察与实操指南。这本书兼具理论深度与实践广度，对AI研发工程师、产品经理、营销策划师以及企业领导者来说，是一份不可多得的学习资料。
——王小川，百川智能创始人兼CEO
这本书获得了AWS、Meta等科技巨头资深人士和行业专家的高度评价。中文版的面世将有助于开发者更深入地学习和理解生成式AI。作为一份理论与实践并重、视野开阔、内容丰富的生成式AI实战指南，这本书为读者开发生成式AI应用程序提供了坚实的基础和指导。它不仅阐释了生成式模型、提示工程等基本概念，而且系统讲解了大语言模型及其在Amazon SageMaker上的应用。书中深入探讨了多种类型的微调技术细节，可以帮助读者构建上下文感知的跨模态（文本、图像等）生成式AI应用程序。作者巧妙地将理论知识、实践代码与真实案例相结合，为希望在AWS上构建和部署生成式AI应用程序的读者——无论是AI工程师、数据科学家还是产品经理，无论是初学者还是领域专家——提供了一条构建理想生成式AI解决方案的有效路径。
——周明，澜舟科技创始人兼CEO，微软亚洲研究院原副院长
如今，大语言模型企业决胜的关键点不仅在于谁能夯实基础、系统布局，更在于谁能将大语言模型与业务场景有效结合，用好大语言模型，让其真正产生价值。这本书堪称理解和应用生成式AI的优秀资源，其中不仅包含翔实的技术细节，更有丰富的实际案例和实用技巧。对希望在AWS平台上构建生成式AI应用程序的行业人士而言，这本书具有极高的参考价值。
——霍太稳，极客邦科技创始人兼CEO
生成式AI让人类迎来了科技变革最大的周期，这场变革比移动互联网与云计算所带来的变革都要剧烈。开发者的创造力和生产力预计将实现十倍速的提升，创造出此前难以想象的各种丰富多彩的应用。在这巨变之中，庞杂的信息扑面而来。这本书由浅入深地阐释了生成式AI的基础知识、示例，以及关键技术、工程技巧与实践，对开发者来说是一本值得阅读的佳作，有助于他们掌握前沿技术。
——蒋涛，CSDN创始人兼董事长，中国开源软件推进联盟副主席
当大家都在热烈讨论大语言模型和AIGC时，如何让这些先进技术尽快落地，并深度服务于商业和社会，已成为新的巨大挑战。作者在这本书中深入分析了如何构建这些前沿的生成式模型，并分享了宝贵的实践经验，旨在指导你如何选择现有的生成式模型或从头开始构建一个新模型。
——刘湘明，钛媒体联合创始人
生成式AI领域发展迅速，涉及的知识庞杂而丰富。这本书介绍了生成式AI的诸多基本概念和定义，有助于初学者对这一热门领域建立一个较为全面的认知。
特别值得一提的是，书中还增加了对AWS相关技术的介绍与讲解。在生成式AI领域，AWS可以提供先进的模型、工具和服务，其用户群体遍布国内各行各业。对于想要深入了解AWS技术或在AWS平台上进行实践的读者，这本书提供了针对性的指导和帮助。
——孟鸿，量子位创始人兼CEO
这是一本颇具趣味的实战指南，适合国内生成式AI开发者、科技发烧友，以及那些计划利用AI技术优化业务流程的企业决策者阅读，是一本实用的工具书。这本书图文并茂，从行文上体现了生成式AI“越智能越傻瓜，越智能越简便”的技术精髓。尽管人工智能领域顶级研究人员的培养至关重要，但普惠型入门级人才的阶梯式培养也同样迫切。
——谢丽容，《财经》杂志副主编
目前，生成式AI已经成为人工智能最重要的发展方向之一。相关研究者和工程师需要不断学习和掌握这个方向的前沿研究、技术发展和工程落地。这本书由专业人士精心创作，系统地介绍了生成式AI的相关基础概念及工程实践方法，并提供了宝贵的实践经验和翔实的操作指南。相信这本书会为技术从业者带来实际价值。同时，对于非技术背景的AI从业者，这也是一本非常合适的入门教程。
——赵云峰，机器之心创始人
我对这本书的出版感到非常兴奋——它很好地融合了重要的背景知识、理论信息及详细的实践代码和深入讲解。我很喜欢阅读它，相信你也会喜欢！你将从基础开始掌握生成式基础模型、提示工程等，循序渐进地学习大语言模型，并了解如何通过Amazon SageMaker使用它们。在掌握基础知识后，你将会了解多种类型的微调，之后深入这本书的核心部分，学习构建能够执行基于上下文推理的应用程序，这些应用程序具有使用不同模态（包括文本和图像）的生成式模型的能力。
——Jeff Barr，AWS副总裁兼首席布道师
这本书展示了在AWS上构建基于生成式AI的解决方案的相关资源。Chris、Antje和Shelbee通过真实世界的示例出色地介绍了大语言模型和多模态模型的关键概念、可能遇到的挑战和实践。这是一本符合时代需求的图书，可加速你从概念到产品构建生成式AI解决方案的过程。
——Geeta Chauhan，Meta应用人工智能主管
在开发和部署生成式AI应用程序的过程中，许多复杂的决策点共同决定了应用程序能否生成高质量的输出，以及能否以经济高效、可扩展和可靠的方式运行。这本书揭开了底层技术的神秘面纱，并提供了详细指导，可以帮助读者理解和做出决策，并最终成功开发生成式AI应用程序。
——Brent Rabowsky，AWS高级经理，人工智能/机器学习专家解决方案架构师
找到一本涉及模型开发和部署端到端过程的图书很难！如果你是机器学习从业者，这本书值得你拥有！
——Alejandro Herrera，Snowflake数据科学家
这本书深入探讨了如何构建和使用生成式AI应用程序。它涵盖生成式AI模型的整个生命周期，而不仅仅是提示工程或微调。如果考虑将生成式AI应用程序用于复杂场景，你应该阅读这本书，了解成功的应用程序所需的技术组合和工具。
——Randy DeFauw，AWS高级首席解决方案架构师
这本书非常适合用于入门生成式AI应用程序开发。互联网上关于这个主题的信息铺天盖地，让人不知从哪里入手。而这本书提供了一个清晰且有条理的指南：它从基础知识一直讲到高级主题，如参数高效微调和模型部署等。这本书非常实用，还介绍了如何在AWS上部署生成式AI应用程序。这本书对于数据科学家和工程师是极其宝贵的资源。
——Alexey Grigorev，OLX集团首席数据科学家兼DataTalks.Club创始人
这是一本关于构建生成式AI应用程序的实用图书。Chris、Antje和Shelbee共同整理了这份出色的学习资源，在未来几年内它都将是非常有价值的——如果可能的话，可以将其作为大学的学习内容。对任何在AWS上大规模构建生成式AI应用程序的人来说，这本书不容错过。
——Olalekan Elesin，HRS集团数据科学平台总监
如果你正在寻找构建和部署生成式AI产品或服务的强大学习资源，那么这本书是你的不二之选。在Chris Fregly、Antje Barth和Shelbee Eigenbrode的专业指导下，你将从生成式AI应用程序开发新手成长为精通训练、微调和应用程序开发等复杂细节的行家。对每个初出茅庐的AI工程师、产品经理、营销人员或商业领袖来说，这本书都是不可或缺的指南。
——Lillian Pierson，PE，Data-Mania创始人
这本书深入探讨了创建理解多样化数据类型并开发基于上下文的决策的应用程序所需的创新技术。通过这本书，读者可以获得全面的视角，将理论与生成式AI应用程序所需的实践工具连接起来。对那些希望充分利用AWS在生成式AI领域的潜力的人来说，这本书值得一读。
——Kesha Williams，Slalom Consulting总监兼AWS机器学习Hero
生成式AI领域的发展如此之快，以至于看到如此多的相关知识被浓缩成一本内容全面的图书，真是令人难以置信。真棒！
——Francesco Mosconi，Catalit数据科学主管
作者简介 · · · · · ·
Chris Fregly，AWS生成式AI首席解决方案架构师，也是O’Reilly图书Data Science on AWS的合著者。
Antje Barth，AWS生成式Al首席开发倡导者，也是O’Reilly图书Data Science on AWS的合著者。
Sh elbee Eigenbrode，AWS生成式AI首席解决方案架构师。她在多个技术领域获得了超过35项专利。
译者
郭韧
生成式 AI 产品专家经理，负责生成式 AI 产品专家团队在机器学习、人工智能领域的方案构建、应用与推广。专注于与 AI、数据相关的技术研究和产品实践。
李雪晴
资深生成式 AI 产品专家，负责生成式 AI 创新场景挖掘、方案推广并进一步助力产品优化。曾担任 AI 算法专家、AI 架构师，拥有超过八年的 AI 技术从业经验。
李君
资深生成式 AI 技术专家，致力于生成式 AI 服务的技术探索、推广与应用，旨在为用户提供前沿的生成式 AI 解决方案。凭借二十余年的 IT 从业经历，她在数据库、大数据工程、机器学习以及深度学习等领域积累了丰富的技术经验。
穆迪
生成式 AI 产品分析专家，哥伦比亚大学数据科学研究生，曾担任加拿大统计理论研究协会主席 Nancy Reid 的科研助理，在数据科学方向拥有丰富实践经验。现专注于云行业生成式 AI 产品
评测与分析，以及市场趋势研究。
唐清原
资深生成式 AI 产品专家，负责 Data Analytic & AI/ML 产品服务架构设计与解决方案。拥有超过十年的数据领域研发及架构设计经验，历任 IBM 咨询顾问、Oracle 高级咨询顾问、澳新银行数据部领域架构师等职务。在大数据 BI、数据湖、推荐系统、MLOps 等领域拥有丰富实战经验。
李元博
生成式 AI 技术专家，负责云行业生成式 AI 解决方案的设计、实施与优化。在生成式 AI 领域，对与 RAG 相关的技术有比较深入的研究。在专业软件、车联网、互联网等领域或行业拥有多年工作经验，在大数据应用、用户画像、内容理解、搜索推荐等领域拥有丰富的工程和算法经验。
谢川
资深生成式 AI 技术专家，负责云行业生成式 AI 解决方案的设计、实施与优化。在通信、电商、互联网等行业拥有多年的产研经验，在数据科学、推荐系统、大语言模型 RAG 等方面拥有丰富的实践经验，并且拥有多项 AI 相关产品技术发明专利。
董孝群
生成式 AI 技术专家，负责生成式 AI 方向解决方案的设计与推广。在大语言模型预训练、微调方向拥有丰富经验，有多年NLP、搜索工作经验。
陈斌
生成式 AI 技术专家，致力于为客户提供创新的生成式 AI 解决方案。拥有丰富的模型训练及工程实践经验。曾任软件开发工程师，并深耕高性能计算及区块链领域。
马丽丽
资深数据库技术专家，在数据库领域拥有十余年研究和产品创新经验：从传统商业数据库 IBM DB2、MPP 并行数据仓库Greenplum 到计算和存储解耦的 Apache HAWQ，再到云上数据
库 Amazon Aurora 和 ElastiCache 等。她在相关国际会议上发表多篇数据库方面的学术论文，并拥有多项国际专利。
富宸
生成式 AI 技术专家，负责生成式 AI 多模态方向解决方案的设计与推广。曾负责 AI 应用技术研究方面的工作。在计算机视觉及多模态领域拥有丰富的实践经验。
申绍勇
资深生成式 AI 技术专家 , 主要负责生成式 AI/ML 服务在各个行业的推广和支持。在大语言模型、计算机视觉、推荐等领域拥有丰富的训练和工程经验。成功支持各类大中型客户、创业客户的AI 项目实施。
曹志斌
博士，拥有二十余年计算机行业经验，具备全面的软件研发和前沿产品分析经验。博士毕业于美国亚利桑那州立大学，获计算机博士学位和 MBA 学位。曾担任 SAP 全球银行行业解决方案资深数据科学家、SAP HANA 全球产品技术营销等职位。
关于项目策划人
王晓野
大数据与 AI 产品技术专家，负责带领技术专家团队提供云上产品及开源方案技术实践指导。长期专注于企业现代化应用架构、数据及人工智能能力的建设。
郭悦
资深开发者运营专家，拥有超过十四年的 IT 互联网经验，其中九年聚焦开发者关系、开发者社区及生态运营，涉及开源项目、AI 及云计算技术传播与社区运营。曾从零到一建设 Apollo 自动驾驶开发者社区、京东云开发者社区等并负责技术影响力的打造与传播。
贾涛
技术市场专家，拥有十余年技术市场经验。专注于前沿技术与产品的影响力建设、市场推广与开发者运营。曾担任 SAP 品牌负责人、多家创业科技企业 CMO、腾讯云产品市场副总经理及腾讯会议市场负责人。
目录 · · · · · ·
第1章 生成式AI用例、基础知识和项目生命周期 5
1.1 生成式AI用例和任务 5
1.2 基础模型和模型中心 8
1.3 生成式AI项目生命周期 8
1.4 AWS上的生成式AI 11
1.5 为什么选择基于AWS构建生成式AI 13
1.6 在AWS上构建生成式AI应用程序 14
1.7 小结 16
第2章 提示工程与上下文学习 17
2.1 提示与补全 17
2.2 token 18
2.3 提示工程 18
2.4 提示结构 19
2.4.1 指令 20
2.4.2 上下文 20
2.5 通过少样本推理进行上下文学习 22
2.5.1 零样本推理 23
2.5.2 单样本推理 23
2.5.3 少样本推理 23
2.5.4 上下文学习出错 24
2.5.5 上下文学习实践 25
2.6 提示工程实践 26
2.7 推理配置参数 31
2.8 小结 36
第3章 大语言基础模型 37
3.1 大语言基础模型简介 37
3.2 分词器 39
3.3 嵌入向量 40
3.4 Transformer 41
3.4.1 输入token上下文窗口 42
3.4.2 嵌入 42
3.4.3 编码器 42
3.4.4 自注意力层 43
3.4.5 解码器 44
3.4.6 Softmax输出 44
3.5 基于Transformer的基础模型的类别 45
3.6 预训练数据集 48
3.7 缩放定律 48
3.8 计算最优模型 50
3.9 小结 51
第4章 显存和计算优化 53
4.1 显存容量挑战 53
4.2 数据类型和数值精度 55
4.3 量化 57
4.3.1 fp16 57
4.3.2 bfloat16 59
4.3.3 fp8 60
4.3.4 int8 61
4.4 优化自注意力层 63
4.4.1 FlashAttention 63
4.4.2 分组查询注意力 64
4.5 分布式GPU集群计算 64
4.5.1 分布式数据并行 65
4.5.2 全分片数据并行 66
4.5.3 FSDP与DDP的性能比较 68
4.6 基于AWS的分布式计算 69
4.6.1 通过Amazon SageMaker进行全分片数据并行 69
4.6.2 AWS Neuron SDK与AWS Trainium 71
4.7 小结 72
第5章 微调和评估 73
5.1 指令微调简介 73
5.1.1 Llama 2 74
5.1.2 Falcon 74
5.1.3 FLAN-T5 74
5.2 指令数据集 74
5.2.1 多任务指令数据集 75
5.2.2 FLAN：示例多任务指令数据集 75
5.2.3 提示模板 77
5.2.4 将自定义数据集转换为指令数据集 78
5.3 指令微调的过程 80
5.3.1 Amazon SageMaker Studio 80
5.3.2 Amazon SageMaker JumpStart 81
5.3.3 将Amazon SageMaker Estimator用于Hugging Face 82
5.4 评估 84
5.4.1 评估指标 84
5.4.2 基准测试和数据集 85
5.5 小结 86
第6章 参数高效微调 87
6.1 全量微调与PEFT 87
6.2 LoRA和QLoRA 89
6.2.1 LoRA基础 90
6.2.2 秩 91
6.2.3 目标模块和网络层 91
6.2.4 应用LoRA 92
6.2.5 将LoRA适配器与原始模型合并 93
6.2.6 维护独立的LoRA适配器 94
6.2.7 全量微调与 LoRA 性能比较 94
6.2.8 QLoRA 95
6.3 Prompt Tuning和软提示 96
6.4 小结 99
第7章 基于人类反馈的强化学习微调 101
7.1 与人类价值观对齐：有用的、诚实的、无害的 101
7.2 强化学习概述 102
7.3 训练自定义奖励模型 104
7.3.1 通过人机交互收集训练数据集 104
7.3.2 供人类标注者参考的示例指令 105
7.3.3 通过Amazon SageMaker Ground Truth进行人工标注 105
7.3.4 为训练奖励模型准备排序数据 107
7.3.5 训练奖励模型 110
7.4 现有奖励模型：Meta有害性检测器模型 111
7.5 通过人类反馈进行强化学习微调 113
7.5.1 使用奖励模型进行RLHF 113
7.5.2 近端策略优化强化学习算法 114
7.5.3 通过PPO进行RLHF微调 115
7.5.4 缓解奖励破解 117
7.5.5 通过RLHF进行PEFT 118
7.6 评估RLHF微调模型 119
7.6.1 定性评估 119
7.6.2 定量评估 120
7.6.3 载入评估模型 120
7.6.4 定义评估指标聚合函数 120
7.6.5 比较应用RLHF之前和之后的评估指标 121
7.7 小结 122
第8章 模型部署优化 125
8.1 模型推理优化 125
8.1.1 剪枝 126
8.1.2 通过GPTQ进行训练后量化 128
8.1.3 蒸馏 129
8.2 大型模型推理容器 131
8.3 AWS Inferentia：专为推理而打造的硬件 132
8.4 模型更新和部署策略 134
8.4.1 A/B测试 135
8.4.2 影子模型部署 136
8.5 指标和监控 137
8.6 自动伸缩 138
8.6.1 自动伸缩策略 139
8.6.2 定义自动伸缩策略 139
8.7 小结 140
第9章 通过RAG和agent实现基于上下文推理的应用程序 141
9.1 大语言模型的局限性 142
9.1.1 幻觉 142
9.1.2 知识截断 143
9.2 RAG 143
9.2.1 外部知识源 144
9.2.2 RAG工作流 145
9.2.3 文档加载 146
9.2.4 分块 147
9.2.5 检索数据和重新排序 147
9.2.6 提示增强 149
9.3 RAG编排和实现 150
9.3.1 文档加载和分块 151
9.3.2 嵌入向量存储和检索 152
9.3.3 检索链 155
9.3.4 通过MMR进行重新排序 157
9.4 agent 159
9.4.1 ReAct框架 160
9.4.2 PAL框架 162
9.5 生成式AI应用程序 165
9.6 FMOps：实施生成式AI项目生命周期 170
9.6.1 试验注意事项 171
9.6.2 开发注意事项 172
9.6.3 生产部署注意事项 173
9.7 小结 174
第10章 多模态基础模型 177
10.1 用例 178
10.2 多模态提示工程实践 178
10.3 图像生成和增强 179
10.3.1 图像生成 180
10.3.2 图像编辑和增强 181
10.4 图像补全、图像外部填充和depth-to-image 186
10.4.1 图像补全 186
10.4.2 图像外部填充 187
10.4.3 depth-to-image 188
10.5 图像描述和视觉问答 190
10.5.1 图像描述 191
10.5.2 内容审查 191
10.5.3 视觉问答 192
10.6 模型评估 197
10.6.1 文生图任务 197
10.6.2 图生文任务 199
10.6.3 非语言推理任务 200
10.7 扩散模型架构 201
10.7.1 前向扩散简介 201
10.7.2 反向扩散简介 202
10.7.3 U-Net简介 203
10.8 Stable Diffusion 2架构 204
10.8.1 文本编码器 205
10.8.2 U-Net和扩散过程 206
10.8.3 文本条件控制 207
10.8.4 交叉注意力 208
10.8.5 采样器 208
10.8.6 图像解码器 209
10.9 Stable Diffusion XL架构 209
10.9.1 U-Net和交叉注意力 209
10.9.2 精修模型 209
10.9.3 条件控制 210
10.10 小结 211
第11章 通过Stable Diffusion进行受控生成和微调 213
11.1 ControlNet 213
11.2 微调 218
11.2.1 DreamBooth 219
11.2.2 DreamBooth与PEFT-LoRA 221
11.2.3 文本反演 222
11.3 通过RLHF进行人类偏好对齐 226
11.4 小结 228
第12章 Amazon Bedrock：用于生成式AI的托管服务 229
12.1 Bedrock基础模型 229
12.1.1 Amazon Titan基础模型 230
12.1.2 来自Stability AI公司的Stable Diffusion基础模型 230
12.2 Bedrock推理API 230
12.3 大语言模型推理API 232
12.3.1 生成SQL代码 233
12.3.2 文本摘要 233
12.3.3 使用Amazon Bedrock生成嵌入 234
12.4 通过Amazon Bedrock进行微调 237
12.5 通过Amazon Bedrock创建agent 239
12.6 多模态模型 242
12.6.1 文生图 243
12.6.2 图生图 244
12.7 数据隐私和网络安全 246
12.8 治理和监控 247
12.9 小结 247
· · · · · ·
发表回复
要发表评论，您必须先登录。