?标题：LocalSearchBench: Benchmarking Agentic Search in Real-World Local Life Services
?来源：arXiv, 2512.07436
?️文章简介
?研究问题：如何评估和提升针对复杂本地生活服务搜索任务的智能搜索代理能力？
?主要贡献：论文提出了LocalSearchBench，一个综合性基准测试，旨在评估在实际本地生活服务中进行的多步推理和协调检索能力。
?重点思路
?构建了一个包含超过150000条数据的LocalSearchBench，涵盖餐饮、购物、住宿、旅行和医疗等6个类别的数据，并覆盖中国的3个主要城市。
?提出了一种高质量的指令合成方法，设计了300个多步问答任务，涉及多约束商家推荐、时空服务链规划和事件驱动服务捆绑。
?利用多代理数据生成过程构建多步问答任务，以强Agent的方式进行复杂推理和信息检索。
?通过建立基于Retrieval-Augmented Generation (RAG) 的综合评估环境，模拟现实中的本地生活服务搜索场景，并评估多种大规模推理模型（LRM）。
?分析总结
?实验表明，当前的模型在特定领域的专业要求上表现不佳，尤其是在处理复杂多步服务搜索任务方面。
?LocalSearchBench有效捕捉了真实用户查询的复杂性，相比以往的基准测试更好地评估了多域服务协调能力。
?不同的LRM在处理多步问答任务时表现不一，封闭源模型在完整性和效率上优于开放源模型，但整体表现仍然有限，展示了多步本地搜索的挑战性。
?引入网络搜索可以显著提高模型的正确性和完整性，但会在一定程度上牺牲响应的真实性。
?个人观点
论文的创新点在于系统性地构建了针对本地生活服务的多步推理基准，并对多种大规模推理模型进行评测。
#LLM #大模型 #agent #论文分享 #美团
?来源：arXiv, 2512.07436
?️文章简介
?研究问题：如何评估和提升针对复杂本地生活服务搜索任务的智能搜索代理能力？
?主要贡献：论文提出了LocalSearchBench，一个综合性基准测试，旨在评估在实际本地生活服务中进行的多步推理和协调检索能力。
?重点思路
?构建了一个包含超过150000条数据的LocalSearchBench，涵盖餐饮、购物、住宿、旅行和医疗等6个类别的数据，并覆盖中国的3个主要城市。
?提出了一种高质量的指令合成方法，设计了300个多步问答任务，涉及多约束商家推荐、时空服务链规划和事件驱动服务捆绑。
?利用多代理数据生成过程构建多步问答任务，以强Agent的方式进行复杂推理和信息检索。
?通过建立基于Retrieval-Augmented Generation (RAG) 的综合评估环境，模拟现实中的本地生活服务搜索场景，并评估多种大规模推理模型（LRM）。
?分析总结
?实验表明，当前的模型在特定领域的专业要求上表现不佳，尤其是在处理复杂多步服务搜索任务方面。
?LocalSearchBench有效捕捉了真实用户查询的复杂性，相比以往的基准测试更好地评估了多域服务协调能力。
?不同的LRM在处理多步问答任务时表现不一，封闭源模型在完整性和效率上优于开放源模型，但整体表现仍然有限，展示了多步本地搜索的挑战性。
?引入网络搜索可以显著提高模型的正确性和完整性，但会在一定程度上牺牲响应的真实性。
?个人观点
论文的创新点在于系统性地构建了针对本地生活服务的多步推理基准，并对多种大规模推理模型进行评测。
#LLM #大模型 #agent #论文分享 #美团
