








AI Agent 能胜任数据工程师和数据分析师的工作吗?DAComp 给出了答案:还差得远。
这是第一个覆盖数据智能完整工作流的基准测试,包含 210 个真实企业级任务。它不仅测试模型能否写一个 SQL,而是要求 Agent 像真正的数据工程师那样规划并构建上千行代码的多层数据流水线,还要像分析师那样从开放式业务问题中规划分析策略、生成洞察和决策建议。
核心发现震撼:即使是 GPT-5 这样的顶级模型,在数据工程任务上的严格成功率也低于 20%,平均分不到 43 分。问题不在于写不出单个 SQL,而在于无法协调整个数据仓库的依赖关系和端到端的数据完整性。开放式分析任务上同样吃力,大部分模型得分低于 40 分,暴露出在战略推理和洞察综合能力上的短板。
实战启发:如果你在做 Agent 或 LLM 应用落地,别只盯着单点代码生成准确率。真正的瓶颈在全局编排能力,在依赖管理、错误传播的容错性,以及从数据到决策的端到端推理链条。DAComp 的分层评估框架(Component Score vs Cascading Failure Score)能精准定位你的模型到底卡在哪一层。
适合场景:企业数据平台开发者可用它评估 Agent 能否自动化构建和演进 dbt 风格的数据管道。BI 团队可以测试 Agent 能否从业务问题直接生成可信的分析报告,减少人工介入。
做数据智能和 Agent 研发的同学可以深入研读这篇工作,它揭示了当前模型在真实企业场景中的能力边界。
论文地址:https://arxiv.org/pdf/2512.04324
项目主页:da-comp.github.io
#大模型论文速读 #AI研究分享 #数据智能 #Agent评测 #企业级AI应用
这是第一个覆盖数据智能完整工作流的基准测试,包含 210 个真实企业级任务。它不仅测试模型能否写一个 SQL,而是要求 Agent 像真正的数据工程师那样规划并构建上千行代码的多层数据流水线,还要像分析师那样从开放式业务问题中规划分析策略、生成洞察和决策建议。
核心发现震撼:即使是 GPT-5 这样的顶级模型,在数据工程任务上的严格成功率也低于 20%,平均分不到 43 分。问题不在于写不出单个 SQL,而在于无法协调整个数据仓库的依赖关系和端到端的数据完整性。开放式分析任务上同样吃力,大部分模型得分低于 40 分,暴露出在战略推理和洞察综合能力上的短板。
实战启发:如果你在做 Agent 或 LLM 应用落地,别只盯着单点代码生成准确率。真正的瓶颈在全局编排能力,在依赖管理、错误传播的容错性,以及从数据到决策的端到端推理链条。DAComp 的分层评估框架(Component Score vs Cascading Failure Score)能精准定位你的模型到底卡在哪一层。
适合场景:企业数据平台开发者可用它评估 Agent 能否自动化构建和演进 dbt 风格的数据管道。BI 团队可以测试 Agent 能否从业务问题直接生成可信的分析报告,减少人工介入。
做数据智能和 Agent 研发的同学可以深入研读这篇工作,它揭示了当前模型在真实企业场景中的能力边界。
论文地址:https://arxiv.org/pdf/2512.04324
项目主页:da-comp.github.io
#大模型论文速读 #AI研究分享 #数据智能 #Agent评测 #企业级AI应用


