生成器-评估器分离:最关键的架构决策
在六大组件中,Sub-agents的"生成器-评估器分离"是最关键的架构决策,直接决定Loop的可靠性边界。本节深入分析这一决策的理论基础、实践验证和设计原则。
理论基础:GANs架构的启发
生成器-评估器分离的理论根源来自Goodfellow等人在2014年提出的生成对抗网络(GANs)。GANs的核心架构包含两个神经网络:
- 生成器网络:
生成合成数据(如图像) - 判别器网络:
区分真实数据与生成数据
两个网络通过对抗训练相互提升:生成器试图生成足够逼真以欺骗判别器的数据,判别器试图更准确地识别生成数据[Goodfellow et al., 2014]。
实证发现:自我评估的系统性失败
Anthropic和OpenAI的研究团队独立发现了AI Agent的系统性缺陷:Agent对自身输出评分时倾向于自我赞扬("点头循环")。
这不是模型能力问题,而是结构性问题:
- 生成器的隐式先验:
生成器知道自己"意图"构建什么,它通过那个镜头解读输出 - 上下文污染:
生成器的推理占据了同一上下文窗口,使得批判性审查难以进行 - 辩护倾向:
模型倾向于为其所写的内容寻找理由辩护,而非怀疑它的理由
Anthropic的成本对比:质量差异验证
Anthropic的对比实验提供了最直观的成本-质量验证:
- 无Evaluator模式:
20分钟,$9,产生非功能性核心机制 - 完整Planner→Generator→Evaluator循环:
6小时,$200,输出功能正确
成本差异是真实的;质量差异也是真实的。这是从"希望它工作"到"验证它工作"的转变。
三角色架构:Planner-Generator-Evaluator
实践中,Generator-Evaluator分离通常扩展为三角色架构:
- Planner(规划者):
将简短提示或用户故事扩展为详细产品规格 - Generator(生成者):
实现规格,接收Planner的输出并生成代码、测试、CI配置、文档 - Evaluator(评估者):
测试Generator的输出是否符合Planner的规格,必须被调优为持怀疑态度
三个角色拥有独立上下文窗口,防止一个角色的推理污染另一个角色的判断。
设计原则:独立性与结构化反馈
- 独立上下文窗口:
Generator和Evaluator各自获得自己的上下文,Evaluator只看到完成的工件和验收标准 - 结构化反馈:
Evaluator返回具体、可操作的批评:哪些测试失败、哪些需求未满足 - 具体评分标准:
验收标准应尽可能具体,避免模糊评估
适用场景判断
- 适用:
高价值任务、主观任务、复杂任务、缺少稳定Ground Truth的任务 - 不适用:
简单任务、易测试任务、成本敏感场景——可能成为过度工程
