《数据质量管理:数据可靠性与数据质量问题解决之道》[美]巴尔・摩西(Barr Moses) | PDF下载|ePub下载

创建

2024 年 11 月 11 日

查看

类别: 计算机/网络

数据质量管理:数据可靠性与数据质量问题解决之道版权信息

出版社：机械工业出版社
出版时间：2024-05-01
ISBN：9787111754114
条形码：9787111754114 ; 978-7-111-75411-4

数据质量管理:数据可靠性与数据质量问题解决之道本书特色

你的产品仪表盘看起来时髦吗？你的季度报告过时了吗？你使用的数据集是坏的还是根本就是错误的？这些问题几乎影响每一个团队，但它们通常以一种临时的、被动的方式得到解决。如果你也受困于这些问题，那么本书就是为你准备的。如今，许多数据工程团队都面临着“好管道，坏数据”的问题。如果你的数据不好，那么数据基础设施再先进也没用。在本书中，来自数据可观测性公司蒙特卡罗的Barr Moses、Lior Gavish和Molly Vorwerck解释了如何利用世界上一些*具创新性的公司采用的*佳实践和技术来解决大规模数据质量和信任问题。通过阅读本书，你将：? 构建更可信、更可靠的数据管道。 ? 编写脚本进行数据检查，并通过数据可观测性识别损坏的管道。 ? 了解如何设置和维护数据SLA、SLI和SLO。 ? 制定并领导公司的数据质量计划。 ? 了解如何像对待生产软件一样对待数据服务和系统。 ? 跨数据生态系统自动绘制数据沿袭图。 ? 为关键数据资产构建异常检测器。

数据质量管理:数据可靠性与数据质量问题解决之道内容简介

本书是一本关于如何清洗、整理和理解数据的手册，还介绍了围绕构建更可靠的数据系统的很好实践、技术和流程，并在此过程中培养团队和利益相关方对数据的信任。本书首先引入“数据宕机”的概念，然后介绍如何跨多个关键数据管道技术构建更具弹性的数据系统。还介绍了数据可靠性工作流中的主动异常检测与监测，并设置SLA、SLI和SLO，以及构建由新鲜度、容量、分布、模式和沿袭这5个关键支柱组成的优化数据质量的数据平台。之后深入探讨在生产环境中实际应对和解决数据质量问题所需的步骤，包括数据事件管理、根因分析、事后分析等。接着讨论数据团队在大规模宣传和普及数据质量时必须跨越的一些文化和组织障碍，并分享了几个真实案例研究和与数据工程领域领军人物的对话。

数据质量管理:数据可靠性与数据质量问题解决之道目录

目录前言1第1章为什么数据质量值得关注71.1 什么是数据质量91.2 构筑当下101.2.1 了解“数据宕机的增加”111.2.2 促成当前形势的其他行业趋势131.3 总结15第2章对可靠数据系统的构建模块进行组装162.1 了解事务型数据和分析型数据之间的差异162.2 是什么让它们有所不同172.3 数据仓库与数据湖192.3.1 数据仓库：模式级别的表类型192.3.2 数据湖：文件级别的操作212.3.3 什么是湖仓一体222.3.4 在仓库和湖之间同步数据232.4 收集数据质量指标242.4.1 什么是数据质量指标242.4.2 如何提取数据质量指标252.4.3 使用查询日志了解数据仓库中的数据质量312.4.4 使用查询日志了解数据湖中的数据质量322.5 设计数据目录332.6 构建数据目录342.7 总结38第3章收集、清洗、转换和测试数据393.1 收集数据393.1.1 应用程序日志数据403.1.2 API响应413.1.3 传感器数据423.2 清洗数据433.3 批处理与流处理453.4 流处理的数据质量463.5 数据标

数据质量管理:数据可靠性与数据质量问题解决之道作者简介

[美]巴尔・摩西(Barr Moses)，是蒙特卡罗公司的首席执行官兼联合创始人，该公司是数据可观测性类别的创建者。在长达十年的数据职业生涯中，她曾担任以色列空军数据情报部队指挥官、贝恩公司顾问和Gainsight公司运营副总裁。她主持了O’Reilly的第一门数据质量课程。 [美]利奥・加维什(Lior Gavish)，是蒙特卡罗公司的首席技术官兼联合创始人，曾联合创办网络安全初创公司Sookasa，该公司于2016年被Barracuda公司收购。在Barracuda，他曾担任高级工程副总裁，推出了屡获殊荣的ML防欺诈产品。Lior拥有斯坦福大学工商管理硕士学位和特拉维夫大学计算机科学硕士学位。 [美]莫莉・沃尔维克(Molly Vorwerck)，是蒙特卡罗公司的内容主管，还担任过Uber工程博客的主编和Uber技术品牌团队的首席项目经理。她还负责Uber首席技术官的内部沟通，以及Uber人工智能实验室研究审查项目的战略。