1 引言
1.1 研究背景与行业痛点
在人工智能技术的快速演进中，多智能体系统（MAS）通过分布式协作模式，有效突破了单智能体在复杂任务处理中的能力局限，已广泛应用于智能客服、自动驾驶、供应链协同、软件开发等关键场景。传统基于强化学习的MAS虽具备基本协作能力，但在动态环境适应、复杂语义理解、灵活决策响应等方面存在显著瓶颈。近年来，大语言模型（LLM）凭借强大的语义理解、上下文推理与生成能力，重构了MAS的协作范式，使智能体具备了更高级的认知水平与交互能力，实现了从任务规划到执行的全流程智能化升级。
然而，LLM-based MAS的固有特性也带来了新的可靠性挑战：一方面，LLM生成结果的不确定性导致智能体个体行为存在偏差；另一方面，多智能体间的动态交互与外部环境的复杂耦合，使得系统异常呈现多样化、传播性强的特征。这些异常不仅会导致任务执行失败，更可能引发连锁性失效，严重制约MAS在高可靠需求场景的落地。例如，智能体因“上下文幻觉”提供错误信息，可能导致整个协作团队的决策偏差；“循环依赖”则会造成系统资源浪费与任务停滞。
1.2 现有研究不足
当前学术界已尝试对MAS异常进行分类，但存在明显局限：一是分类维度单一，如仅基于异常发生时间（执行前/中/后）划分，无法揭示异常产生的核心原因与作用环节；二是分类粒度较粗，多将异常笼统归结为“模型幻觉”等单一类型，难以支持精准的异常诊断与针对性修复；三是缺乏大规模真实数据支撑，分类结果多基于理论推导，与工程实践存在脱节。因此，构建层次化、细粒度且贴合实际运行场景的异常分类体系，成为提升LLM-based MAS鲁棒性的关键挑战。
1.3 核心研究目标与贡献
本文的核心目标是系统化识别、分类LLM-based MAS的异常类型，揭示各类异常的内在逻辑、外部诱因及分布特征，为异常根源分析与智能化修复提供理论支撑。主要贡献包括：
1. 提出涵盖“模型理解感知-智能体交互-任务执行-外部环境”的四层级细粒度异常分类框架，覆盖系统运行全关键环节；
2. 基于13418段真实运行轨迹数据，通过量化统计与案例分析，明确各类异常的分布比例与核心表现；
3. 揭示异常的层级传播特性，证实模型理解感知异常的根源性作用，为系统优化提供明确方向；
4. 建立“LLM初步分析+专家校验”的混合分析方法，保证分类结果的可靠性与工程适用性。
2 核心研究内容
2.1 LLM-based MAS的层次化架构
为清晰界定异常的作用环节，本文提出自上而下的四层级MAS架构，为异常分类提供逻辑基础：
- 用户层：系统入口，负责接收用户任务提示与目标定义，需精准解析用户意图并转化为可执行的语义框架；
- 任务规划层：将宏观目标拆解为子任务，明确执行优先级与依赖关系，结合LLM推理能力优化执行路径；
- 智能体层：执行中枢，由多个异构智能体组成，各承担特定角色，配备工具与记忆模块（短期上下文记忆+长期知识图谱），通过通信协议实现协同；
- 模型层：底层支撑，融合LLM的语义理解能力与群体智能机制，包含认知引擎、决策中枢与群体协作优化模块。
该架构清晰展现了从用户需求到任务执行的全流程逻辑，为异常在不同层级的定位提供了明确参照。
2.2 数据收集与分析方法
2.2.1 数据收集
为确保数据的代表性与多样性，研究选取7个领域内具有典型特征的MAS，涵盖数学问题求解、移动应用模拟、软件工程、通用AI助理、大规模任务与程序开发等场景，并匹配7个公开数据集，共收集13418段运行轨迹（Trace）。这些Trace数据包含任务信息（编号、内容）、智能体交互信息（角色、动作、消息内容）、任务结果评估（是否成功、标准答案）等结构化字段，涵盖大量系统运行失败、行为异常或低效的案例，为异常分析提供了丰富的实际样本。
2.2.2 数据分析方法
采用“LLM初步分析+专家人工校验”的混合方法，确保异常识别与分类的准确性：
1. LLM自动化标注：使用Gemini 2.5Pro模型，基于预设的异常判定标准（任务结果错误；过程存在偏离逻辑、低效或潜在风险行为）构建提示词，对Trace数据进行异常识别、初步分类与原因推断；
2. 专家双盲校验：两位研究者对LLM标注结果进行独立审核，对争议案例由第三位研究者仲裁，通过Cohen Kappa系数衡量一致性（最终Kappa系数为0.84，达到“极佳”一致性水平）；
3. 开放编码分类：采用定性分析中的开放编码方法，先通过代表性样本预分类统一标准，再对所有异常样本进行分类，若发现新类型则协商新增，确保分类体系的完整性与系统性。
该分析方法既利用LLM提升了大规模数据处理效率，又通过专家校验保证了分类结果的严谨性，有效规避了单一方法的局限性。
2.3 四层级异常分类框架与统计分析
本文基于MAS运行的核心环节，构建了层次化、细粒度的异常分类框架，涵盖4大类、16个子类异常，各类异常的分布比例与核心特征如下：
2.3.1 模型理解感知异常（占比65.4%）
该类异常源于LLM在语义理解、任务识别或推理能力上的局限，是智能体个体层面的能力瓶颈，也是最核心的根源性异常。主要包括6个子类：
- 上下文幻觉（18.9%）：信息缺失时未主动获取补充信息，而是做出不准确假设。例如，在缺少病程时长信息的情况下，智能体假设“A病了70个月”以计算初始体重；
- 任务指令误解（17.5%）：未能准确理解任务核心意图或隐性前提。例如，执行“切换到Luna Starlight的歌曲”指令时，未识别“登录授权”为前提，调用API时因“未授权访问”失败；
- 问题理解错误（10.2%）：对问题语义理解偏差，导致后续处理偏离目标。例如，将“查询跑步速度”误解为“计算跑步距离”；
- 逻辑计算错误（9.1%）：数学计算或逻辑推理步骤出错。例如，将“消费3/5后剩余2/5”错误计算为“剩余1/5”；
- 页面元素识别失败（5.4%）：与GUI或网页交互时，无法准确定位输入框、按钮等关键元素；
- 缺乏常识知识（4.3%）：因缺少基本常识导致判断失误。例如，计算被子布料需求时，未考虑被子有两面需布料的常识。
该类异常作为根源性诱因，其偏差会通过交互过程向上传播，引发智能体协作、任务执行等后续环节的异常。
2.3.2 智能体交互异常（占比16.8%）
聚焦多智能体协作中信息传递与协同机制的缺陷，反映智能体间协作的不健全。主要包括5个子类：
- 信息隐瞒（5.6%）：交互中未主动共享关键信息，导致其他智能体决策偏差。例如，Spotify智能体要求提供access_token，但未说明获取方式，导致主控智能体调用API失败；
- 信息忽略（5.1%）：未能处理其他智能体的重要指令或信息。例如，辅助智能体未遵循“将计算结果放入\boxed{}”的格式要求，导致输出无效；
- 循环依赖（4.7%）：智能体间或与工具形成相互等待关系，导致任务停滞。例如，信息不足时反复向其他智能体提出相同请求，无法获得有效反馈；
- 信息冲突（0.5%）：智能体间意见或决策矛盾且未有效解决。例如，执行智能体多次报告任务无法执行，管理智能体仍重复下发指令；
- 信息欺骗（0.9%）：传递虚假或误导性信息。例如，未计算就虚假反馈“12月31日到7月19日为170天”。
该类异常的核心症结在于信息共享的透明度与有效性不足，以及冲突协调机制的缺失。
2.3.3 任务执行异常（占比27.1%）
指系统在任务推进中出现的策略失当、目标偏离或流程控制缺陷，是协作行为的直接输出层异常。主要包括5个子类：
- 决策重复出错（11.9%）：任务失败后未调整策略，重复尝试已知失败路径。例如，无法直接处理PDF文件时，反复建议用户手动操作，未重新规划子任务；
- 任务可行性缺少验证（11.3%）：执行前未检查任务可解性，缺少关键条件仍强行执行。例如，未验证Spotify歌单时长是否满足85分钟健身需求，最终因歌单时长不足导致任务失败；
- 复杂决策超时（2.1%）：因信息处理量大、推理复杂，未能按时完成决策。例如，执行“调查Sirnea村吸血鬼活动”任务时，仅完成3/20步骤即超时终止；
- 决策路径偏离（1.4%）：行动路径逐渐偏离核心目标。例如，查找“缺失的送礼者”时，误将无关文档作为线索，在无关网页中反复尝试；
- 完成后不终止（0.4%）：任务达成后未及时终止，进行多余操作。例如，正确计算出总花费4500美元后，额外计算“剩余金额”，导致输出偏离目标。
该类异常反映出智能体在流程控制、策略调整与终止条件判断上的能力不足。
2.3.4 外部环境异常（占比18.3%）
强调系统与外部工具、服务、记忆等要素交互中的障碍，体现外部依赖的不稳定性。主要包括5个子类：
- 记忆冲突（12.1%）：内部存储的经验、知识与当前任务信息矛盾，导致重复错误。例如，提取论文信息时反复尝试下载PDF，即使收到系统警告仍未调整策略；
- 工具输入错误（2.4%）：调用工具或API时传递参数格式、类型不符。例如，构造缺少协议头的非法URL，导致搜索工具请求失败；
- 工具依赖故障（1.7%）：依赖的外部工具或服务无法正常运行。例如，因缺少pptx模块，Python脚本提取PPT内容失败；
- 访问受限（1.7%）：访问外部资源时触发安全机制或权限限制。例如，抓取网页时遇到验证码，因缺乏处理能力导致访问中断；
- 记忆溢出（0.4%）：上下文管理能力不足，旧信息被挤占导致目标遗忘。例如，处理复杂错误后，将阶段性目标误当作最终目标。
该类异常的核心挑战在于智能体对外部环境的适应能力与资源管理能力不足。
2.4 异常传播特性分析
研究进一步揭示了LLM-based MAS异常的层级传播规律：模型理解感知异常作为最底层的根源性异常，其偏差会通过“模型层→智能体层→任务规划层→用户层”的路径向上传播，引发智能体交互、任务执行等更高层级的异常。例如，智能体因“任务指令误解”（模型理解感知异常）未获取登录授权，导致API调用失败（外部环境异常），进而引发整个协作任务失败（任务执行异常）。这一发现表明，提升LLM的基础理解与推理能力，是降低系统整体异常发生率的关键突破口。
3 关键技术
3.1 混合数据分析技术
核心在于结合LLM的高效处理能力与专家的专业判断，实现大规模Trace数据的精准分析：
- LLM自动化标注技术：利用Gemini 2.5Pro的语义理解与推理能力，基于预设标准对海量Trace数据进行快速异常识别与初步分类，大幅提升数据处理效率；
- 专家双盲校验与仲裁机制：通过两位专家独立标注、第三位专家仲裁的方式，结合Cohen Kappa系数一致性验证，确保异常分类结果的准确性与客观性，规避LLM标注的“幻觉”风险。
该技术平衡了数据分析的效率与精度，为大规模异常样本的系统化处理提供了可行路径。
3.2 开放编码异常分类技术
采用定性研究中的开放编码方法，构建层次化、细粒度的异常分类体系：
- 预分类阶段：选取代表性异常样本进行试分类，统一分类标准与判断依据；
- 双盲独立分类：两位研究者对所有异常样本进行“双盲”分类，确保分类的客观性；
- 动态迭代优化：分类过程中发现新类型异常时，协商新增类别，确保分类体系的完整性与覆盖性。
该技术突破了传统固定分类框架的局限，能够精准捕捉LLM-based MAS异常的多样化特征，形成贴合工程实践的分类体系。
3.3 异常统计与根源追溯技术
通过量化统计与案例分析相结合的方式，揭示异常分布规律与传播路径：
- 异常量化统计：对四类异常及子类的占比进行精准统计，明确高频异常类型，为优先级排序提供数据支撑；
- 根源追溯分析：通过典型案例拆解，追踪异常的初始诱因与传播环节，揭示模型理解感知异常的根源性作用；
- 特征提炼技术：总结各类异常的典型表现与核心诱因，为异常诊断与修复提供明确依据。
该技术实现了从“异常现象识别”到“根源机制分析”的深度挖掘，为系统优化提供了精准方向。
4 核心创新点
4.1 构建四层级细粒度异常分类框架
突破传统分类维度单一、粒度粗糙的局限，基于MAS“模型-智能体-任务-环境”的运行逻辑，构建了层次化分类体系：从底层的模型理解感知，到中间层的智能体交互与任务执行，再到顶层的外部环境，覆盖系统运行全环节，且每个大类下细分具体子类，实现异常的精准定位。该框架既符合LLM-based MAS的架构特性，又贴合工程实践中的异常表现，为异常分析提供了统一的理论框架。
4.2 基于大规模真实轨迹数据的量化分析
首次基于13418段真实运行Trace数据，对LLM-based MAS异常进行量化统计，揭示了异常分布的幂律特征——少数高频异常（如上下文幻觉、决策重复出错、记忆冲突）贡献了大部分系统故障。这种基于真实数据的分析方法，避免了传统理论推导的局限性，使研究结果更具工程参考价值。
4.3 揭示异常的层级传播特性
通过案例分析首次明确，模型理解感知异常作为根源性诱因，会引发智能体交互、任务执行、外部环境等更高层级的异常传播。这一发现突破了对异常孤立看待的传统认知，为系统优化提供了明确优先级——优先提升LLM的基础理解与推理能力，可从根源上降低异常发生率。
4.4 建立严谨的混合数据分析方法
提出“LLM初步分析+专家双盲校验+开放编码”的混合方法，通过LLM提升效率，通过专家校验保证精度，通过开放编码确保分类完整性。该方法解决了大规模复杂Trace数据难以精准分析的难题，为同类研究提供了可复用的技术范式。
5 结论与展望
5.1 核心结论
本文针对LLM-based MAS的异常问题，构建了四层级细粒度分类框架，通过大规模真实数据统计与案例分析，明确了各类异常的分布比例、典型表现与核心诱因。研究表明：模型理解感知异常占比最高（65.4%），是引发其他层级异常的根源；高频异常主要包括上下文幻觉、任务指令误解、决策重复出错、记忆冲突等；异常具有明显的层级传播特性，模型基础能力的提升是提升系统可靠性的关键。该分类框架与分析结果为LLM-based MAS的异常诊断、根源分析与智能化修复提供了理论支撑与实践参考。
5.2 研究局限性
本文的异常分析基于静态Trace数据集，虽覆盖多种场景，但未能充分涵盖动态环境（如网络状态瞬时波动、资源竞争）引发的瞬态异常，这类异常在实际部署中同样不可忽视，需在后续研究中补充。
5.3 未来展望
1. 构建异常因果模型：在现有分类框架基础上，进一步抽象异常间的因果关系，揭示异常在不同层级的传播路径与演化机制，为精准溯源提供更深入的理论支撑；
2. 动态环境异常研究：引入网络波动、资源竞争等动态环境因素，开展针对性实验，实现对环境驱动型异常的识别、分类与分析；
3. 智能化修复策略探索：基于本文的异常分类与根源分析，开发针对性的异常修复技术，如模型理解能力增强、智能体交互机制优化、任务执行流程校验等，实现从“异常识别”到“问题解决”的跨越，提升MAS的自治能力与可靠性。
随着异常分析与修复技术的不断完善，LLM-based MAS有望在高可靠需求场景实现更广泛的落地应用，推动复杂任务处理的智能化升级。
参考文献：基于大语言模型的多智能体系统异常综述(特邀)，张珑耀等，计算机工程
