
《Data Quality Fundamentals》核心是为数据从业者提供构建可信数据管道的实用指南,聚焦数据质量与可靠性,覆盖技术、流程和组织层面的完整解决方案。
核心主题与框架
数据质量的重要性:定义数据质量为数据生命周期各阶段的健康状态,指出 “数据停机时间”(数据缺失、不准确等情况)对企业的成本损耗,强调其已成为 21 世纪企业的关键挑战。
数据系统基础组件:解析操作型数据与分析型数据的差异,对比数据仓库、数据湖、数据湖仓的特性与适用场景,讲解数据质量指标的收集与应用。
数据全生命周期管理:从数据收集(应用日志、API 响应、传感器数据)、清洗(异常值移除、归一化等)、转换(批处理与流处理)到测试(dbt、Great Expectations 等工具),提供各环节质量保障方法。
监控与异常检测:围绕数据可观测性五大支柱(新鲜度、体量、分布、模式、血缘),教授构建异常检测算法、利用 Python 和机器学习实现规模化监控,平衡精确率与召回率。
数据可靠性架构:借鉴 DevOps 实践,讲解如何设置数据 SLAs、SLIs 和 SLOs,搭建包含 ingestion、存储处理、转换建模等六层的可靠数据平台,通过案例展示实际落地效果。
数据问题规模化解决:引入数据可靠性生命周期,涵盖事件检测、响应、根本原因分析、解决与事后复盘,强调故障无责文化的重要性。
端到端血缘构建:详解字段级数据血缘的设计、解析与可视化,帮助团队快速定位问题根源与影响范围。
数据质量民主化:倡导将数据视为产品,分享数据团队组织架构(集中式、分布式、混合式)、数据认证程序、数据素养提升等实践,推动全公司参与数据质量保障。
实际案例与趋势:通过 Blinkist、PagerDuty、Fox 等企业案例验证方法有效性,探讨数据网格等新兴架构对数据质量的影响,预测数据系统未来发展方向。
核心主题与框架
数据质量的重要性:定义数据质量为数据生命周期各阶段的健康状态,指出 “数据停机时间”(数据缺失、不准确等情况)对企业的成本损耗,强调其已成为 21 世纪企业的关键挑战。
数据系统基础组件:解析操作型数据与分析型数据的差异,对比数据仓库、数据湖、数据湖仓的特性与适用场景,讲解数据质量指标的收集与应用。
数据全生命周期管理:从数据收集(应用日志、API 响应、传感器数据)、清洗(异常值移除、归一化等)、转换(批处理与流处理)到测试(dbt、Great Expectations 等工具),提供各环节质量保障方法。
监控与异常检测:围绕数据可观测性五大支柱(新鲜度、体量、分布、模式、血缘),教授构建异常检测算法、利用 Python 和机器学习实现规模化监控,平衡精确率与召回率。
数据可靠性架构:借鉴 DevOps 实践,讲解如何设置数据 SLAs、SLIs 和 SLOs,搭建包含 ingestion、存储处理、转换建模等六层的可靠数据平台,通过案例展示实际落地效果。
数据问题规模化解决:引入数据可靠性生命周期,涵盖事件检测、响应、根本原因分析、解决与事后复盘,强调故障无责文化的重要性。
端到端血缘构建:详解字段级数据血缘的设计、解析与可视化,帮助团队快速定位问题根源与影响范围。
数据质量民主化:倡导将数据视为产品,分享数据团队组织架构(集中式、分布式、混合式)、数据认证程序、数据素养提升等实践,推动全公司参与数据质量保障。
实际案例与趋势:通过 Blinkist、PagerDuty、Fox 等企业案例验证方法有效性,探讨数据网格等新兴架构对数据质量的影响,预测数据系统未来发展方向。


