大语言模型处理技术政策报告能力的评估研究

NEWS

基准数据集的设计原则

研究人员首先梳理了政策分析中常见的考量维度，包括相关性与因果性的区分、统计素养与数据解读、利益相关方分析与多元视角、假设与研究发现的识别、以及逻辑推理能力等五个方面。这些维度并非穷尽性的分类，而是作为指导原则确保数据集能够涵盖多样化的分析挑战。

真实性分类体系构建

研究团队突破传统的二元真假判断，设计了六类真实性分类法。第一类是明确证据支持的真实，即主张被文本中的直接证据清晰支持。第二类是推断得出的真实，即主张虽未明说但可从文本逻辑推导。第三类是部分真实，即主张部分得到文本支持，但存在缺失、模糊或仅被弱暗示的成分。第四类是分歧立场，即文本同时提供支持和反对主张的信息，且由于不同研究发现或观点并存而无法判定主张真假。第五类是被证据反驳的虚假，即主张被文本信息直接否定。第六类是文本未提及或不予支持的虚假，即主张在文本中既未被提及也无证据支撑，这类主张可能在客观上是真实的，但缺乏文本依据。这种多维度分类法更能反映政策文档中常见的限定性结论、对冲语言和竞争性解读等复杂现实。

数据集构建方法

研究采用人机混合的工作流程，团队招募了16位来自RAND的政策领域专家，选取了过去十年内出版的14篇RAND政策报告作为来源文档，涵盖新兴技术、国防安全、经济贸易和教育等多个领域。研究者首先使用OpenAI的o3模型为每篇报告生成20条初始主张，但发现自动生成的主张存在明显缺陷，多数停留在表层事实提取，缺乏政策分析所需的解释复杂性，且真实性类别分布严重不均。为此，专家被赋予充分权限修改或替换生成的主张，确保主张的自然性、相关性、难度适当性以及真实性类别的合理分布。最终数据集包含240条主张，其中明确证据支持的真实主张56条，推断得出的真实主张40条，部分真实主张27条，分歧立场主张仅3条，被证据反驳的虚假主张55条，文本未提及的虚假主张59条。难度分布上，低难度主张159条，中等难度58条，高难度仅17条。

系统测试与评估框架

研究团队使用GPT-4.1模型搭建了三种基线系统，分别是标准检索增强生成系统、微软GraphRAG包配置的系统，以及利用微软Azure接口的长上下文配置系统。评估采用三种计分框架，第一种是完美匹配计分，要求系统预测与专家标注在六个真实性类别上完全一致。第二种是调整匹配计分，对仅在真实性子类别上存在偏差但总体判断正确的回答给予半分。第三种是二元简化计分，将六个类别压缩为传统的真假二元框架以便与现有基准比较。

测试结果与典型案例分析

测试结果显示，GraphRAG在完美匹配框架下准确率为54%，长上下文配置为53%，标准检索增强生成为48%。在调整匹配框架下，检索增强生成得分63%，长上下文配置和GraphRAG均为69%。在二元简化框架下，检索增强生成75%，长上下文配置79%，GraphRAG80%。研究者特别分析了一个典型案例，关于美国教师授课模式偏好与实际使用不一致时各项压力指标变化的主张，专家判定为部分真实，因为原文未将应对困难列为统计显著增加，但GraphRAG将其判为真实，表明系统未能充分把握统计显著性这一限定短语的重要性。

总而言之，当前基线大语言模型系统在政策分析任务中的表现存在明显局限，需要进一步优化和压力测试才能可靠地支持高风险的实际政策工作。三种测试系统的整体准确率在完美匹配框架下仅为48%至54%，说明未经专门调整的现成方案尚不足以准确解读复杂信息。同时，系统在二元简化框架下的得分明显高于细粒度分类框架，即简单的真假二元评估可能无法充分反映系统在实际政策应用中的准备程度，采用这种简化框架的基准测试对于专业领域应用而言可能是次优选择。

研究还发现了自动主张生成方法的局限性。尽管人机混合方法能够加速数据集构建，但研究者需要大量介入以修正和优化人工智能输出，才能满足复杂政策分析的需求。这提示未来需要进一步探索更成熟的规模化基准数据集构建策略。

基于这些发现，研究团队提出几项建议。第一，领域特定基准测试能够为专业应用评估提供有价值的洞察，将已发表的政策文档纳入基准可以反映真实研究环境中的任务和挑战。第二，评估领域特定推理能力至关重要，更细致的真实性分类有助于改进实际政策分析，超越二元分类能够揭示生成式人工智能系统在处理无支持断言、部分不准确、推断推理和冲突观点时的差异。第三，鉴于观察到的错误率，在将基线大语言模型系统用于政策分析时建议保持人工监督，这些未经专门调整的系统应被视为辅助工具而非替代专家判断。第四，未来研究应拓展更广泛的领域和文档类型，开发跨文档主张以测试综合研判能力，并探索更新的推理模型和架构改进。