DATA-CENTRIC AI系列连载 第 17 期
Data-centric AI methods and tools
Data-centric AI - Data-centric AI methods and tools
Data-centric AI methods and tools
ABSTRACT
Data-centric AI 方法与工具已发展为一种通过系统化地策划、归因和合成训练数据来提升模型性能的关键范式。近期研究在数据选择方面推进了基于原则的优化方法：Yan et al., 2025[1] 提出面向视觉指令微调的耦合重要性-多样性框架，Zhang et al., 2025[2] 则主张指令微调数据应基于拟合度而非数量规模进行筛选。在数据归因领域，多项工作致力于解决可扩展性与鲁棒性问题：Hu et al., 2025[3] 提出面向在线强化学习的局部归因框架，Sun et al., 2025[4] 通过表征优化增强归因效果，Wang et al., 2025[5] 则驯服了实际归因选择中的超参数敏感性。Wei et al., 2025[6] 统一了基于梯度的最终模型归因方法。在数据集蒸馏方面，Cui et al., 2025[7] 通过残差匹配实现快速精准的数据集蒸馏，Li et al., 2025[8] 则超越随机采样，提出自动内循环优化策略。在数据合成方面，Wang et al., 2025[9] 利用树引导子空间划分从零开始生成多样化数据。此外，Shanmugam et al., 2025[10] 提出利用标注与无标注数据评估多个模型的方法，Zhu et al., 2025[11] 开发了可扩展的模型无关数据估值方法。这些工作共同表明，该领域正从临时性的数据使用向基于原则的、自动化的、可验证的 data-centric 流水线转变。
01
数据归因的实用化挑战：从超参数调优到可验证性
数据归因方法旨在量化训练样本对模型输出的贡献，已成为数据筛选、版权补偿和模型解释的核心工具。然而，当前研究揭示了一个关键瓶颈：超参数选择对归因结果的影响远超预期。Wang et al., 2025[5] 系统性地揭示了梯度基归因方法对超参数的极端敏感性，并提出了一种无需昂贵重训练的选择策略，直接挑战了现有基准的可靠性。与此同时，可扩展性成为另一焦点：Agarwal et al., 2025[12] 采用神经网络直接学习训练数据的影响估计，避免了传统影响函数对二阶信息的依赖，在指令微调场景中实现了线性时间复杂度的归因；Wei et al., 2025[6] 则从统一视角出发，仅利用最终模型参数即可完成归因，大幅降低了存储开销。在验证层面，Karchmer et al., 2025[13] 引入了可验证的归因证明机制，允许第三方在不信任计算节点的情况下确认归因结果的正确性，为数据交易提供了理论保障。此外，Hu et al., 2025[3] 将归因拓展至在线强化学习场景，提出局部快照框架以应对非平稳数据分布；Sun et al., 2025[4] 则通过表示学习优化归因的稳定性。这些工作共同指向一个趋势：数据归因正从理论方法走向实用工具，但必须解决超参数鲁棒性、计算可扩展性和结果可验证性这三重挑战。Zhu et al., 2025[11] 提出的KAIROS框架进一步实现了模型无关的数据价值评估，支持任意下游模型，为跨场景归因提供了统一接口。
02
数据选择策略的精细化：面向指令微调、预训练与对齐的多目标优化
数据选择不再局限于简单的质量过滤，而是演变为针对不同训练阶段和目标的精细化策略。Zhang et al., 2025[2] 提出“最适合的数据”概念，强调指令微调数据应与目标模型的当前能力分布相匹配，而非追求通用高质量，这一观点挑战了“越大越好”的直觉。在视觉指令微调中耦合了重要性与多样性两个维度，通过CoIDO框架实现了高效选择，在减少50%数据量的同时保持甚至提升性能。Chen et al., 2025[14] 针对多语言预训练设计了MuRating方法，利用语言特定评分器平衡各语种数据质量，解决了低资源语言数据稀疏问题。在偏好对齐场景中，Viswanathan et al., 2025[15] 发现检查表（checklist）形式的二元反馈比连续奖励模型更有效，且所需数据量更少，这为对齐数据的选择提供了新范式。片段中提及的DCLM-Baseline、MATES和Quad等方法则从不同角度探索了数据影响估计与聚类多样化，但现有研究仍缺乏统一的理论框架来指导不同目标下的选择策略。值得注意的是，数据选择与数据归因正在融合：Agarwal et al., 2025[12] 的神经网络影响估计可直接用于指令微调数据的排序筛选，而 Yan et al., 2025[1] 的耦合优化也隐含了归因思想。未来需要建立跨任务、跨模型的数据选择基准，以系统比较不同策略的泛化能力。
03
数据集蒸馏与合成数据生成：从残差匹配到树结构探索
数据集蒸馏旨在从大规模数据中合成少量代表性样本，而合成数据生成则从零构建高质量数据，两者正呈现范式融合趋势。Cui et al., 2025[7] 提出的FADRM框架将残差连接从模型层扩展到数据层，通过数据残差匹配实现快速准确的蒸馏，在CIFAR-10等基准上以50%的数据量超越此前最优方法。Li et al., 2025[8] 则进一步引入自动内循环优化，在蒸馏过程中动态调整合成策略，避免了手工设计匹配目标的主观性。在合成数据生成方面，Wang et al., 2025[5] 的TreeSynth通过树结构引导的子空间划分，从随机噪声出发生成多样且覆盖全面的数据集，无需依赖真实样本，特别适用于长尾分布场景。Yuan et al., 2025[16] 将偏好树引入推荐系统，通过树状结构组织用户偏好，生成多样化的负样本以提升推荐鲁棒性。这些方法共享一个核心思想：利用结构化先验（残差、树、子空间）来引导数据合成或蒸馏，从而在压缩率与信息保留之间取得平衡。片段中提及的UtilGen框架进一步展示了生成式数据增强与任务适配的结合，而MindGYM则通过自我挑战机制让模型自主生成困难样本。当前挑战在于如何将蒸馏与生成统一到一个理论框架中，并验证合成数据在复杂任务（如多模态、代码生成）中的有效性。
04
自动化数据管线的系统化构建：从多智能体协作到代码生成
数据为中心的AI正催生出一系列自动化工具和管线，旨在降低人工干预、提升数据处理的效率与可复现性。Lu et al., 2025[17] 提出的KARMA框架利用多智能体LLM协作完成知识图谱的自动丰富，每个智能体负责实体抽取、关系推理或冲突检测，实现了端到端的管线自动化。在代码生成领域，Li et al., 2025[8] 展示了如何通过非参数知识蒸馏将小型语言模型（SLM）的能力提升至接近大模型水平，用于数据分析代码生成，显著降低了推理成本。Lin et al., 2025[18] 则扩展了代码辅助思维链（Code-Assisted CoT），通过结构化指令引导模型逐步生成可执行代码，在数学推理任务中取得突破。Yubeaton et al., 2025[19] 将形式化验证与推理结合，自动生成Verilog代码并保证语法正确性，为硬件设计的数据管线提供了新思路。在评估层面，Shanmugam et al., 2025[10] 提出了利用有标签和无标签数据联合评估多个模型的方法，为数据质量监控提供了统计工具。片段中提到的LOGIX工具和DATE-LM基准则分别聚焦于影响函数的工程实现和LLM归因评估，反映了工具生态的成熟。这些系统化工具的共同特点是：将数据获取、清洗、标注、选择、生成等环节封装为可复用的模块，并通过智能体或代码生成实现自动化编排。未来趋势是构建跨领域、可插拔的数据管线平台，支持从原始数据到模型训练的全流程自动化。
REFERENCES
[1] CoIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization. NeurIPS 2025.
[2] The Best Instruction-Tuning Data are Those That Fit. NeurIPS 2025.
[3] A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning. NeurIPS 2025.
[4] Enhancing Training Data Attribution with Representational Optimization. NeurIPS 2025.
[5] Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining. NeurIPS 2025.
[6] Final-Model-Only Data Attribution with a Unifying View of Gradient-Based Methods. NeurIPS 2025.
[7] FADRM: Fast and Accurate Data Residual Matching for Dataset Distillation. NeurIPS 2025.
[8] Beyond Random: Automatic Inner-loop Optimization in Dataset Distillation. NeurIPS 2025.
[9] TreeSynth: Synthesizing Diverse Data from Scratch via Tree-Guided Subspace Partitioning. NeurIPS 2025.
[10] Evaluating multiple models using labeled and unlabeled data. NeurIPS 2025.
[11] KAIROS: Scalable Model-Agnostic Data Valuation. NeurIPS 2025.
[12] Neural Networks for Learnable and Scalable Influence Estimation of Instruction Fine-Tuning Data. NeurIPS 2025.
[13] Efficiently Verifiable Proofs of Data Attribution. NeurIPS 2025.
[14] MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining. NeurIPS 2025.
[15] Checklists Are Better Than Reward Models For Aligning Language Models. NeurIPS 2025.
[16] Tree of Preferences for Diversified Recommendation. NeurIPS 2025.
[17] KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment. NeurIPS 2025.
[18] Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning. NeurIPS 2025.
[19] VeriThoughts: Enabling Automated Verilog Code Generation using Reasoning and Formal Verification. NeurIPS 2025.
PREVIOUS
第 16 期 — Data-centric AI: Data augmentation
NEXT ISSUE
Deep Learning — Algorithms
深入解析深度学习领域前沿进展
- END -
