


















?arXiv 9-Dec-2025 LLM相关论文(37/72)
?更多论文见主页/合集
?arXiv ID: arXiv:2512.07436
?论文标题: LocalSearchBench: Benchmarking Agentic Search in Real-World Local Life Services
? 问题背景:大型推理模型的发展推动了智能体搜索系统,但现有研究多集中于通用领域。本地生活服务场景具有其独特性,真实用户查询常具模糊性,需跨商家和产品的多跳推理,现有方法难以充分应对。
? 研究动机:为填补本地生活服务领域智能体搜索评估基准的空白,研究团队推出了LocalSearchBench。该基准旨在构建贴近现实的复杂商业场景,全面评估模型在多约束商家推荐、时空服务链规划等任务上的表现。
? 方法简介:本研究构建了LocalSearchBench基准,包含15万条高质量本地商家数据。基于此,提出了LocalPlayground评估框架,集成了RAG与网络搜索工具,为智能体提供统一的交互环境以执行多步信息检索与推理。
? 实验设计:在包含300个多跳问答任务的基准上,对十种主流LLM进行评估。采用七维度评估指标,如正确性、完整性和忠实度等。实验结果显示,最强模型DeepSeek-V3.1的正确率仅为34.34%,揭示了该任务的巨大挑战。
?更多论文见主页/合集
?arXiv ID: arXiv:2512.07436
?论文标题: LocalSearchBench: Benchmarking Agentic Search in Real-World Local Life Services
? 问题背景:大型推理模型的发展推动了智能体搜索系统,但现有研究多集中于通用领域。本地生活服务场景具有其独特性,真实用户查询常具模糊性,需跨商家和产品的多跳推理,现有方法难以充分应对。
? 研究动机:为填补本地生活服务领域智能体搜索评估基准的空白,研究团队推出了LocalSearchBench。该基准旨在构建贴近现实的复杂商业场景,全面评估模型在多约束商家推荐、时空服务链规划等任务上的表现。
? 方法简介:本研究构建了LocalSearchBench基准,包含15万条高质量本地商家数据。基于此,提出了LocalPlayground评估框架,集成了RAG与网络搜索工具,为智能体提供统一的交互环境以执行多步信息检索与推理。
? 实验设计:在包含300个多跳问答任务的基准上,对十种主流LLM进行评估。采用七维度评估指标,如正确性、完整性和忠实度等。实验结果显示,最强模型DeepSeek-V3.1的正确率仅为34.34%,揭示了该任务的巨大挑战。


