一、论文基本信息
论文题名：Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents
投稿状态：本文被 ACL 2026 录用
二、摘 要
金融文档的准确性对经济分析、监管合规和企业决策至关重要。已有研究证明 LLM 在多个金融任务中表现良好，例如股价走势判断和金融分析；然而，LLM 识别金融文档错误的能力仍然是一个尚未充分探索的关键任务。
为此，论文提出 FinED-Bench。论文称其为第一个面向金融错误检测的公开基准，并将错误检测任务划分为三个认知复杂度层级。基准覆盖九个真实世界金融场景，包含 900 多份 2025 年发布、现有语言模型未见过的文档。论文详细说明了基准构建流程，并评估多种先进 LLM，例如 GPT-4o 和 Qwen3-14B。
当前 LLM 在该任务上仍然困难重重，尤其是在高复杂度错误上表现明显下降；同时，监督微调可以显著提升较弱模型在该任务上的表现。三、引言：为什么金融错误检测必须单独评估论文用金融行业的真实风险作为引入。作者提到，金融文档错误可能造成巨大经济损失，影响市场信心和监管判断。论文举出 2012 年 JPMorgan Chase “London Whale” 事件，将其作为金融文档或表格错误可能引发严重后果的典型例子。论文还引用 Gartner 2024 年调查：18% 的金融从业者每天都会出错，三分之一每周多次出错，59% 每月多次出错。在这个背景下，论文指出：相比一般文本，金融文档错误检测具有独特挑战。金融错误并非只有表面层面的文字问题，还包含领域概念、法律条款、数值单位、表格数据、跨段落逻辑和计算推理。模型如果只会做短文本理解，未必能在长金融文档中完成可靠审阅。论文认为传统自动错误检测方法主要依赖规则匹配和统计模型，在语义理解、多跳推理和复杂上下文依赖方面存在明显局限。LLM 的上下文理解、跨领域知识整合和多步推理能力看似适合处理此类任务，但这恰恰需要一个系统基准来检验。因此，论文提出 FinED-Bench，目标是满足三个要求：1. 具有真实金融文档场景。2. 覆盖多层级错误类型。3. 能够评估长文档推理能力。四、相关工作：现有基准为什么不够论文将相关工作分为两类：4.1 金融评估基准已有金融领域模型和基准覆盖了信息抽取、文本分析、问答、文本生成、风险管理、预测和决策等任务。论文提到 BloombergGPT、FinGPT、FinMA、OpenFinLLMs、Plutus 等金融模型，也提到 FinAgent、FinMem、FinCon、FinVision、FinRobot 等基于 LLM 的金融 Agent 系统。但是，论文认为这些基准主要衡量金融文本理解、问答、预测或生成能力，并不直接考察模型能否在长篇金融文档中发现错误。因此，FinED-Bench 的独特性在于：它专门面向长金融文档中的错误检测，评估模型作为专业审阅者的可靠性。4.2 错误检测基准传统 NLP 错误检测更多关注拼写、标点、语法和用词问题。近年工作开始关注语义错误、数学错误和幻觉检测。例如 MEDEC 用于临床笔记错误检测与纠正，ErrorRadar 用于多模态数学解题错误检测。论文认为这些基准通常存在两个限制：一是文本较短，二是领域不属于金融文档。因此它们不足以评估金融错误检测所需的数值推理、长上下文推理和专业知识。FinED-Bench 因此定位为：第一个系统面向长篇中文金融文档语义错误检测的基准，重点是“检测”而非“纠正”，并覆盖三个错误层级。五、FinED-Bench 的错误体系论文基于认知语言学理论和真实金融实践，设计了两层错误分类体系：第一层为 3 大类，第二层为 15 个子类。论文借鉴 Kintsch 和 Van Dijk 的文本理解模型，将金融错误划分为不同理解深度上的错误。
论文特别说明，为了更加均衡、公平地评估不同错误类别，FinED-Bench 略微降低了普通知识错误比例，并提高了金融推理错误比例。
八、实验设置
8.1 被评估模型论文评估了通用模型和金融领域模型，包括：- Qwen2.5-7B-Instruct- Qwen3-8B 与 Qwen3-8B no thinking- DeepSeek-R1-0528-Qwen3-8B- Qwen3-14B 与 Qwen3-14B no thinking- GPT-3.5-turbo- GPT-4o-mini- GPT-4o- Fin-R1- Dianjin-R1-7B论文还设置了人类基线。人类基线由两名金融专业大二学生在随机抽取的 100 篇文档上完成，报告其平均表现。8.2 评价指标论文使用 Precision、Recall、F1-score。一个模型抽取的句子被视为正确，需要同时满足两个条件：1. 抽取内容与标准句子完全匹配，或包含标准句子。2. 错误类型分类正确。这个定义意味着，模型不仅要找到错误所在句，还必须判断错误类别。
九、主实验结果
论文的主表显示，当前 LLM 在金融文档错误检测中仍然表现有限。总体上，GPT-4o 最强，但其总体 F1 也只有 48.34%；人类基线为 63.63%。
9.1 发现一：当前 LLM 在金融推理错误上明显困难论文明确指出，即使是 GPT-4o，也在金融推理错误上出现显著性能下降。GPT-4o 在普通知识错误上的 F1 为 52.33%，但在金融推理错误上下降到 38.00%。Qwen3-14B 从 51.41% 下降到 29.10%；Qwen3-8B 从 47.60% 下降到 27.96%。论文解释说，金融推理错误需要多步计算和金融规则整合，而普通知识错误和领域知识错误更依赖常识推理或事实回忆。因此，金融推理错误更能暴露模型在复杂金融逻辑上的不足。9.2 发现二：金融领域模型受基础模型能力限制Dianjin-R1-7B 基于 Qwen2.5-7B-Instruct 微调，整体 F1 从基础模型的 9.85% 提升到 15.81%。但 Fin-R1 反而下降到 3.19%。二者都显著低于较新的通用模型，例如 Qwen3-8B 的 39.99% 和 Qwen3-14B 的 43.15%。论文据此判断：1. 基础模型能力在很大程度上决定领域微调后的性能上限。2. 面向金融问答、摘要、分类等相关任务的微调，并不会自然提升金融错误检测能力。9.3 发现三：GPT-4o 呈现高召回、低精度模式GPT-4o 的特点是倾向于识别大量候选错误，从而提高召回率，但牺牲精度。论文认为 GPT-4o 过于敏感，导致误报和错误分类较多。论文举例说明，某些单位错误会被 GPT-4o 错分为格式错误；某些正常年份也会被错误标记为非法时间。这说明，强模型并不等于可靠审阅者；在专业错误检测中，过度警觉同样会造成审阅质量问题。9.4 发现四：推理能力显著提升错误检测表现Qwen3-8B 和 Qwen3-14B 的 no thinking 版本显著弱于完整版本。Qwen3-8B 在普通知识错误上从 24.93% 提升到 47.60%；Qwen3-14B 从 33.72% 提升到 51.41%。论文认为，推理能力能帮助模型推断上下文中的隐含关系，因此对错误检测尤为重要。DeepSeek-R1-0528-Qwen3-8B 相比 Qwen3-8B no thinking 有所提升，但仍落后于完整 Qwen3-8B，论文推测这可能说明蒸馏或后训练部分损害了原模型能力。
十、不同金融场景下的表现
论文进一步按九类金融场景比较模型表现。主要结论是：文档越长，性能越差。短文档场景表现最好：- Stock Research Reports：最高 F1 为 58.07%- Industry Research Reports：最高 F1 为 59.68%中等长度文档下降明显：- Tender Announcements：44.61%- Insurance Contracts：38.85%- Legal Documents：29.17%超长文档表现最差：- Company Bylaws：16.66%- Listing Prospectuses：14.76%- Bond Prospectuses：9.52%论文指出 Regulatory Documents 是例外，达到 50.0%，可能因为部分监管文本与训练数据中的现行法规重合，且法规变化较少。这一部分的核心含义是：金融错误检测不是单纯的“模型是否知道金融知识”，而是“模型是否能在长文档中保持稳定、准确的全局审阅能力”。长上下文长度本身会明显削弱模型检测能力。
十一、监督微调的作用
论文为了提升模型表现，使用同样的构建流程生成监督微调数据，但该数据不经过人工验证。错误注入后，使用 Qwen3-32B 和 GPT-4o 作为 judge，只有当两个模型都正确检测错误 span 和 type 时，样本才被保留。同时保留 Qwen3-32B 的 reasoning process。最终微调数据包括：- 9,515 个无错误片段- 8,697 个含错误片段- 每个错误样本标注错误类型、错误 span 和推理过程监督微调显著提升 Qwen3-14B 的错误检测能力。总体 F1 从 43.15% 提升到 53.85%，提升 10.70 个百分点。具体改进包括：
论文还评估了微调后模型在 CFLUE 其他金融任务上的表现，包括 MCQs、金融翻译、金融文本分类、金融关系抽取和金融文本生成。结果显示，微调后模型总体保持可比表现，有些任务略有提升，有些略有下降。论文据此认为，金融错误检测微调并未明显损害一般金融任务泛化能力。十二、附录中的补充实验12.1 Prompting 策略论文比较了不同提示策略，包括 whole 与 chunk、multi 与 single、few-shot 与 zero-shot。结论有三点：1. whole-document prompting 优于 chunking-based prompting。因为许多错误跨越全文，分块会破坏跨文档不一致关系。2. multi-error prompting 优于 single-error prompting。一次检测所有错误类型比每次只检测一种错误更好，说明模型能利用不同错误类型之间的上下文线索。3. whole + multi + few 的组合最好，平均 F1 为 30.64%。这与主文结论一致：完整上下文对金融错误检测非常重要。12.2 15 个错误子类的细粒度表现附录表明，各模型在 15 个错误子类上差异很大。以 Qwen3-14B 为例，它在 Illegal Time、Redundant Statements、Numerical Missing、Numerical Unit Error 等较规则化错误上表现相对较好，但在 Ambiguous Expression、Calculation Error、Numerical Inconsistency、Clause Conflict 等需要深层语义或跨段推理的任务上表现明显较低。GPT-4o 在多个子类上召回率很高，但精度并不稳定，这与主文的“高召回、低精度”结论一致。12.3 错误位置影响论文还分析错误位于文档开头、中间、结尾时的表现。总体而言，模型更容易发现结尾部分错误，其次是开头部分，中间部分最难。论文将这一现象与心理学中的 Primacy Effect 和 Recency Effect 对应起来：开头内容有助于形成全局理解，结尾内容距离预测步骤更近，而中间内容更容易被忽略。12.4 英文数据集结果为了回应中文基准泛化问题，论文构建了一个英文金融错误检测数据集，包含 56 篇文档和 198 个错误，其中：- 普通知识错误：91 个- 金融领域知识错误：37 个- 金融推理错误：70 个英文数据集上的结果与中文基准一致：1. 启用 reasoning 的模型显著优于 no thinking 版本。Qwen3-14B 从 23.60% 提升到 44.52%，Qwen3-8B 从 17.58% 提升到 38.64%。2. Recall 仍是主要挑战，多数模型召回低于 50%。3. 金融领域 LLM 仍受基础模型能力限制。英文表中 GPT-5 取得 53.38% F1，是英文集上最高结果；但论文主实验仍以中文 FinED-Bench 为核心。十三、结论的原文式归纳论文结论部分重申：FinED-Bench 是一个专门评估 LLM 金融文档错误检测能力的基准。为避免数据污染，论文提出半自动构建流程，从互联网抓取原始金融文档，并注入领域特定错误。实验表明，推理能力确实能显著增强模型表现；但是即便是 GPT-4o 和 Qwen3-14B 这样的较新模型，在金融文档错误检测上仍然困难明显。尤其是金融推理错误、长文档场景、跨段落不一致和条款冲突等问题，仍不是当前 LLM 能稳定解决的任务。论文还指出，现有金融领域模型常常针对股票预测、问答、摘要、分类等下游任务微调，这类微调并不必然提升错误检测能力。真正有效的改进来自面向金融错误检测本身的数据和监督信号。十四、局限性论文承认 FinED-Bench 仍未完全覆盖真实金融场景的复杂性，主要有两方面局限。第一，金融文档类型仍不充分。资产负债表、利润表等文档尚未覆盖。这些文档中的错误往往来自底层数据源，验证其正确性需要审查大量历史数据，因此当前基准将其排除。第二，未覆盖多模态要素。真实金融文档常包含印章、签名等视觉元素。准确理解和验证这些内容需要多模态能力，而本文评估的是文本模型，因此没有纳入这类错误。论文还提到伦理问题。FinED-Bench 可能包含公开但敏感的信息，例如联系方式。对这类数据进行监督微调可能放大安全风险。为降低伦理风险，论文投入工作将真实数据替换为精心构造的合成替代内容。十五、论文贡献从论文自身的论证看，其贡献主要有三点。第一，它将“LLM 是否可靠”从一般问答能力转向专业审阅能力。金融文档错误检测要求模型不仅能理解文本，还要知道什么是错误、在哪里错、属于哪类错，以及为什么错。第二，它提出了较完整的金融错误分类体系。三大类、十五子类的设计，使任务不再停留在笼统的“找错误”，而是可细分地评估模型在表面规则、领域知识和复杂推理上的差异。第三，它通过实验揭示了当前 LLM 的短板：最强模型仍显著低于人类基线；金融推理错误尤其困难；长文档会显著降低性能；领域模型若基础能力不足，并不能凭金融微调自动成为可靠审阅者。十六、核心结论如果只保留论文最关键的判断，可以归纳为以下几点：1. 当前 LLM 还不是可靠的金融文档审阅者。GPT-4o 在主基准上的总体 F1 只有 48.34%，低于人类基线 63.63%。2. 金融推理错误是主要难点。所有模型在这一类错误上均明显下降。3. 长文档是关键瓶颈。文档越长，错误越容易被遗漏，尤其是位于中间部分的错误。4. 推理能力确实重要。thinking 版本显著优于 no thinking 版本。5. 金融领域模型不一定更强。 领域微调的效果受基础模型能力限制，且与错误检测任务不匹配的微调收益有限。6. 面向错误检测的监督微调有效。Qwen3-14B 在专门微调后总体 F1 从 43.15% 提升到 53.85%。7. 高召回不等于高可靠。GPT-4o 倾向于多报错误，虽然召回较高，但会带来误报和误分类。
