史凯 |精益场景驱动高质量数据集方法论白皮书

欢迎大家关注“凯哥讲故事系列”公众号

本文配有完整 PPT 如需要

将文章转发朋友圈截图发给后台，即发 PPT 完整版

精益场景驱动高质量数据集方法论

Lean Scenario-Driven High-Quality Dataset Methodology

简称：

LSDM 精益场景驱动高质量数据集方法论（Lean Scenario-Driven High-Quality Dataset Methodology，LSDM）

精益场景驱动高质量数据集方法论（LSDM）

摘要

在人工智能进入产业落地深水区的今天，高质量数据集已成为支撑模型训练、评测、优化与持续运营的基础性能力。然而，大量组织在推进数据集建设时，仍普遍存在“先建平台、后找场景”“先堆样本、后定任务”“重资源盘点、轻价值闭环”等问题，最终导致投入巨大、成果分散、业务效果有限。

这类问题的根本原因在于，许多组织仍然沿用信息化时代和资源建设时代的思维来建设数据集：先把仓库修大，先把管道铺满，先把数据装进去，再期待价值自然长出来。但在 AI 时代，这种路径往往行不通。因为模型不是靠“数据很多”自动变强，业务也不是靠“平台很全”自然改善。真正决定成败的，是数据集是否精准服务于具体场景，是否真正支撑了模型任务，是否形成了持续迭代的数据飞轮。

基于此，本文提出精益场景驱动高质量数据集方法论，即LSDM（Lean Scenario-Driven High-Quality Dataset Methodology）。该方法论延续《精益数据方法论》的核心思想，强调以价值场景为牵引，以模型任务为桥梁，以高质量数据集体系为核心对象，以平台能力为支撑体系，形成“场景定模型，模型定数据，数据定平台”的建设逻辑。

LSDM 的本质，不是“如何把数据做得更漂亮”，而是“如何让数据集真正成为业务价值、模型能力和平台能力之间的连接器”。本文将系统阐述 LSDM 的提出背景、核心理念、结构框架、关键原则与实施路径，为政企、行业平台、科研机构和大型企业开展高质量数据集建设提供一套可落地、可治理、可持续演进的方法体系。

关键词：精益思想；高质量数据集；场景驱动；数据治理；模型训练；平台建设；LSDM

1. 引言

1.1 从“修水库”到“打胜仗”：高质量数据集建设面临的新挑战

很多组织谈高质量数据集建设时，脑海里先出现的，是一幅基础设施建设图景：

数据源接进来，数据清洗一遍，标签打上去，平台搭起来，训练链路跑通，最后形成一个庞大的数据集资产池。

这个图景当然不算错，但它更像是在“修水库”。

问题在于，AI 时代真正的挑战，不只是修水库，而是打胜仗。

打仗时最重要的，不是仓库里粮食看上去很多，而是前线到底缺什么弹药、炮火该打到哪里、补给线能不能及时跟上。

高质量数据集建设也是一样。

一家制造企业希望通过视觉模型发现产线缺陷。

如果没有明确场景，团队很容易走向“多采图片、多做标注、多建平台”。最后仓库里堆满了图像，但真正难识别的那几类“细裂纹”“轻微偏移”“反光遮挡”样本反而不够。模型上线后，大部分正常品看得挺准，关键缺陷却频频漏掉。看起来数据很多，实际上最值钱的那一小撮数据没准备好。

一家银行想做智能风控。

如果没有明确场景，可能会先把交易流水、用户画像、设备日志、行为数据统统汇聚进平台，建成一个庞大的数据资产池。但真正上线时才发现，模型最需要的不是“全量历史数据”，而是那些极少发生、但一旦发生就损失巨大的欺诈链条样本。结果是池子很大，鱼很多，真正要钓的那几条却没进来。

一家城市交通部门想做道路巡检智能化。

如果没有明确模型任务，就可能把视频、图像、工单、地图、传感器数据都接进来，平台建设得十分完整，但直到后面才发现：这个场景最关键的不是“全量接入能力”，而是“夜间低照度下坑槽识别”“雨天反光条件下标线缺失识别”“施工围挡异常占道识别”这些高难度子任务。没有这些关键样本，再大的平台也只是一个很贵的仓库。

这些案例说明，高质量数据集建设已经不再是单纯的“修库、接数、标注、上平台”，而是一项必须围绕业务场景和模型任务来组织的系统工程。

1.2 为什么《精益数据方法论》的思想在这里仍然成立

《精益数据方法论》有一个非常重要的底层判断：

数字化建设不是为了技术本身，而是为了业务价值；不是先做大而全，而是先找到高确定性的价值场景，小步快跑，持续迭代。

这一判断放到高质量数据集建设中，依然成立，甚至更加重要。

因为在 AI 时代，最容易造成浪费的地方，恰恰不是代码，而是数据。

采了很多根本不会进入训练的数据，是浪费。

标了很多与任务无关的标签，是浪费。

建了很多没有高频使用场景的平台功能，是浪费。

做了很多“看起来质量很高”但无法提升模型效果的数据治理动作，也是浪费。

因此，高质量数据集建设必须继承精益思想的三条主线：

价值优先：先找价值最密集的场景；

消除浪费：不做无效采集、无效标注、无效平台建设；

持续迭代：先跑出最小可行闭环，再不断演进。

LSDM 正是在这一思想脉络上提出的。

如果说《精益数据方法论》回答的是“企业如何围绕场景和价值来建设数据能力”，那么 LSDM 回答的就是：

在 AI 时代，企业如何围绕场景和价值来建设高质量数据集能力。

2. LSDM 的核心命题：场景定模型，模型定数据，数据定平台

LSDM 试图解决的，不是一个局部问题，而是一条常被做反的建设顺序。

在很多组织里，真实发生的顺序往往是：

先立平台项目；

再做数据接入；

再组织样本采集和标注；

最后才问一句：这些数据集到底服务哪个场景、支撑哪个模型？

这就像先买了一座大厨房、囤满了食材、招齐了厨师，最后才讨论今天客人到底点什么菜。厨房当然很先进，但菜未必做得对。

LSDM 把这个顺序反过来。

2.1 场景定模型

场景是起点。

高质量数据集建设的第一件事，不是问“手上有什么数据”，而是问：

这个业务场景最核心的问题是什么？

这个问题里，模型究竟要替代什么、辅助什么、判断什么？

模型在这条链路上承担的是识别、预测、推荐、生成，还是决策支持？

举个直观的例子。

在客服场景里，“让 AI 参与服务”听上去是一个场景，但它其实太大。

如果进一步拆开，可能完全是四件不同的事：

自动识别用户意图；

自动推荐知识答案；

自动判断投诉升级风险；

自动生成服务小结。

这四件事，对应四种不同模型任务。

任务不同，所需数据不同；数据不同，标注规则不同；标注规则不同，后面平台支撑能力也不同。

所以 LSDM 的第一个判断是：

场景不是一句口号，而是模型任务的业务边界。

没有场景边界，就没有清晰的模型边界。

2.2 模型定数据

模型任务一旦明确，数据需求就不再模糊。

此时，数据团队不再是泛泛地说“我们需要文本、图像、视频、日志”，而是可以被精确追问：

模型输入到底是什么？

输出标签到底是什么？

正样本和负样本怎么定义？

哪些边界样本最关键？

哪些误判最致命？

哪些反馈样本必须持续补充？

仍然以制造业质检为例。

如果模型任务是“识别重度缺陷”，那么数据集建设重点可能是缺陷类别的清晰标注与正常样本平衡；

如果模型任务是“识别微弱缺陷”，那么数据集建设重点就会变成高精度标注、边界样本采集、特殊光照条件覆盖、误报样本持续回流。

两者看起来都叫“质检数据集”，但建设逻辑完全不同。

所以 LSDM 强调：

所谓高质量，不是抽象意义上的高质量，而是“相对于模型任务的高质量”。

这也是精益思想在数据集建设里的体现：

不是追求“什么都好”，而是追求“对当前任务最有效”。

2.3 数据定平台

平台是支撑层，不是起点层。

换句话说，平台不应该先于场景和数据体系独立膨胀。

平台能力应当由数据集建设过程中真正反复出现的需求反推出来。

如果一个组织当前最重要的场景是文本分类，那平台的优先能力可能只是：

数据接入

标注工作台

质检抽检

数据集版本管理

模型训练与离线评测

如果一个组织要做多模态巡检或自动驾驶类任务，那平台的重点则会变成：

多模态对齐

大规模标注协同

数据切片与检索

仿真评测

线上回放与反馈闭环

所以 LSDM 的第三个判断是：

平台不是为了显得先进而建设，而是为了降低数据集建设与迭代的成本。

平台做得再大，如果没有让采集更高效、标注更稳定、评测更可靠、反馈更顺畅，那它就没有真正创造价值。

3. LSDM 的四层框架

为了便于组织落地，LSDM 将高质量数据集建设抽象为四层结构：场景层、模型层、数据层、平台层。

3.1 场景层：从业务现场出发

场景层回答的是“为什么做”。

这一层不是写概念，而是像走进现场一样去看问题。

比如在制造产线，操作员正盯着高速流过的部件，眼睛疲劳、误检漏检频发；

在客服中心，质检主管面对海量录音，靠抽样监听，既慢又不全面；

在交通巡检现场，巡查人员开着车绕城一圈，回来后还要人工整理图像和问题点位。

这些都不是抽象需求，而是具体到动作、角色和损失的场景。

场景层要写清楚的，不只是“业务目标”，更包括：

当前是怎么做的；

哪一步最耗人、最慢、最容易出错；

哪个角色最痛；

不解决会造成什么损失；

一旦解决，会在哪个指标上体现价值。

3.2 模型层：把业务动作翻译成机器任务

模型层回答的是“模型做什么”。

它要把业务现场里的一个动作，翻译成机器可执行的任务。

比如：

从“人工看裂纹”翻译成“缺陷检测与分类”

从“人工听录音找风险”翻译成“投诉升级风险识别”

从“人工读文档找要点”翻译成“关键信息抽取与摘要生成”

模型层最重要的，不是把模型名字写得多高级，而是把任务边界说清楚。

精益思想在这里的体现是：不做模糊大题，只做清晰小题；先把一个动作打透，再逐步扩展。

3.3 数据层：围绕任务组织数据资产

数据层回答的是“需要什么数据”。

这一层要把数据集从一个静态文件包，变成一个动态的数据体系。

仍以交通巡检为例。

不是“采一批道路图片”就算数据集，而是要拆解成：

白天样本

夜间样本

雨雪天气样本

正常路面样本

坑槽样本

围挡占道样本

标线模糊样本

容易误判的反光样本

线上回流的问题样本

只有这样，数据集才真正开始具备“作战能力”。

3.4 平台层：让数据集建设形成流水线

平台层回答的是“怎么持续支撑”。

平台不是一堆功能清单，而是一条流水线。

像工厂一样，把原料变成标准件，把标准件变成成品，再把成品送到前线。

一套真正有生命力的数据集平台，应该像一个高效工坊：

原料进来就能分类、清洗、分层；

标注员进入工位就能按规则工作；

质检员能快速发现问题；

算法工程师能方便取数、训练、评测；

业务反馈能快速回流成为新样本；

每一个版本都能追溯、比较、复盘。

这才叫平台。

否则，只有页面和模块，没有生产节奏和运营闭环，那只是一个“系统外壳”。

4. LSDM 的精益原则

LSDM 之所以与《精益数据方法论》一脉相承，关键就在于它不是一套静态框架，而是一套有明确价值判断的建设哲学。

4.1 价值优先原则

先找最值得打的仗，再决定造什么武器。

不围绕价值场景的数据集建设，极易沦为资源堆积。

4.2 消除浪费原则

高质量数据集建设中的浪费主要包括：

无用采集

无效标注

过度治理

冗余平台能力

缺乏复用的重复劳动

LSDM 强调，所有非必要复杂度，都是成本。

4.3 最小可行原则

不要一开始就建设“全域高质量数据集体系”。

应优先围绕一个高价值场景，跑通最小闭环，形成样板，再复制推广。

4.4 评测前置原则

先定义什么叫“打赢”，再组织弹药生产。

没有评测前置，数据集建设就容易变成“做了很多，但不知道是否有效”。

4.5 持续迭代原则

高质量数据集不是一次性打包交付，而是不断打磨、不断补强、不断吸收前线反馈的动态资产。

5. LSDM 的实施路径

LSDM 建议采用五步法实施。

第一步：识别高价值场景

优先选择“小、痛、快、可验证”的场景。

第二步：定义模型任务

把业务动作拆解成清晰、具体、可评测的模型任务。

第三步：设计数据集体系

围绕任务设计样本、标签、质量规则、评测集和版本策略。

第四步：建设最小可行平台能力

只建设当前闭环最需要的能力，不做过度前置。

第五步：运行、评测与迭代

通过模型效果、业务指标和线上反馈持续更新数据集。

6. 结论

高质量数据集建设不是简单的数据整理工程，不是单纯的平台建设工程，也不是一场“比谁样本多、比谁系统全”的资源竞赛。

它更像是一场精益化的战役组织。

你要先看清战场。

再判断哪一类武器最有效。

再决定弹药怎么生产、怎么补给、怎么迭代。

最后才是决定后方工厂和补给体系应该建成什么样。

这正是 LSDM 的核心价值：

把高质量数据集建设从“修仓库”拉回“打胜仗”。

如果说《精益数据方法论》解决的是企业如何围绕场景和价值来建设数据能力，那么LSDM解决的，就是企业如何在 AI 时代围绕场景和价值来建设高质量数据集能力。

它继承精益思想，强调价值、消除浪费、快速闭环、持续迭代；

它也继承精益数据方法论的脉络，把数据集建设重新拉回业务现场、模型任务和组织协同之中。

最终，LSDM 想强调的只有一句话：

高质量数据集不是堆出来的，而是围绕高价值场景“炼”出来的。

7. LSDC 精益高质量数据集画布

凯哥原创，分享请注明出处

书籍简介

Springer Nature 出版社已经签约出版此书的全球版

敬请期待

“精益数据方法，是基于20年中国信息化，数字化市场的深度实践，超过100家大型头部企业的数字化转型规划，实施的落地总结沉淀出的，以数据要素为核心，以价值场景为抓手的中国特色的数字化转型方法论和体系化实践工具。

2023年已经出版了原创著作《精益数据方法论-数据驱动的数字化转型》，并且已经在多个全球头部行业领军企业落地。

精益数据方法，将精益思想深度融合到企业数字化转型领域，以创造价值，消除浪费为目标，打造高质量发展的数字化企业，助力企业在新的数字化时代获得高响应力，建立数据驱动的企业。”

如何找场景？如何让场景落地？

如何让企业建立起持续生产高质量场景的组织能力？

请关注凯哥精益场景咨询系列

凯哥提供场景培育咨询服务

企业数字化转型/场景识别、共创、落地

精益数据训练营/解决方案架构师特训营

从数据到价值：精益数据工作坊

数字化咨询教练陪跑服务：

数字化转型规划 | 顶层设计 |企业创新与运营

IT战略规划 | IT服务管理体系 | 数据治理

往期推荐内容

富贵研究所｜我们花了 7 天，才把 AI 编程的起点搭起来

富贵研究所｜ AI时代，还有所谓的行业边界么？

富贵研究所｜智能体来了，ERP、OA、数据中台怎么办？

富贵研究所｜ CEO 都开始写代码了，你的老黄牛思维还没醒悟？

富贵研究所｜ AI 的尽头，不是能源，是文明被改写

凯哥｜产品化失败，99% 是没有明确产品的三要素

凯哥｜ AI 时代：TOGAF 没过时，但它已经不再够用了

富贵研究所｜ AI 时代，答案越来越便宜，真正值钱的只剩一种能力