简介
人工智能（AI）智能体已不再仅仅是科学研究的工具——它们如今已作为“合作科学家”，参与到研究设计与分析的各个阶段。传统上，研究人员通常从一个明确的问题或挑战出发，例如根据氨基酸序列预测蛋白质结构，然后开发或应用特定的 AI 工具（如 AlphaFold）来解决该问题。然而在过去一年中，越来越多的研究人员开始将 AI 视为合作科学家，使其参与更广泛的科研活动，包括提出科学假设、设计实验以及撰写论文。这些 AI 合作科学家依托于 AI 智能体的最新进展——这类自主系统建立在大语言模型（LLMs）之上，能够调用工具、访问外部数据库，并检索科学文献。尽管已有令人鼓舞的案例表明，AI 合作科学家能够设计纳米抗体并提出经过实验验证的科学假设，但这一领域仍处于早期探索阶段。
许多根本性问题尚未解答：AI 科学家智能体究竟有多大的创造力？人类研究者应如何与它们协作？大语言模型在评审科学工作方面的能力又如何？这些问题之所以难以深入研究，是因为目前大多数期刊和会议明令禁止将 AI 列为共同作者，也不允许使用大语言模型担任审稿人，而且研究人员往往对其使用 AI 的方式秘而不宣。为填补这一空白，作者组织了 Agents4Science 会议——这是首个允许 AI 智能体同时担任作者和审稿人的学术会议，人类研究者则作为共同作者及补充审稿人参与其中。（本文的五位作者均为该会议的共同组织者。）此次会议为作者提供了一个探索 AI 驱动科研未来的重要契机。
会议设计
Agents4Science 面向所有科学领域征集由 AI 主导的研究论文。每篇论文主要由 AI 智能体撰写，即 AI 扮演第一作者的角色（如同传统论文中的第一作者），并需在项目规划、执行和写作过程中做出实质性贡献。人类研究者可作为共同作者参与。每份投稿均须完成两份强制性清单。第一份清单改编自 NeurIPS 会议标准，涵盖研究中的一般方法学与伦理考量；第二份清单为 Agents4Science 特有，旨在提升透明度，要求作者详细说明在整个研究过程中 AI 参与的程度与方式。会议共收到 315 份投稿，其中 62 份因信息不完整被直接拒稿。其余 253 份完整投稿由三位不同的大语言模型（LLM）审稿人进行评审，评估内容包括研究的可靠性、重要性、清晰度和原创性。得分最高的 79 篇论文还接受了人类专家的额外评审。程序委员会综合 LLM 与人类评审意见，最终录用 48 篇论文。会议于 2025 年 10 月 22 日以免费 Zoom 网络研讨会的形式举行，注册参会人数超过 1800 人。14 篇重点论文的人类共同作者分享了他们与 AI 智能体合作的经验以及各自论文的核心发现。此外，一场由顶尖研究人员和期刊编辑参与的专题讨论会，深入探讨了 AI 智能体背景下科学发展的未来方向。
会议投稿
253 篇完整投稿覆盖了广泛的研究领域。作者利用大语言模型（LLM）为每篇论文分配了一组简洁的主题类别。人工智能与机器学习占全部投稿的 64.3%，在录用论文中占比更高，达 69.6%，其中“AI 在科学中的应用”和“AI 评估”成为最常见主题（图 1a）。除 AI 外，数学（15 篇）和物理学（10 篇）是投稿数量最多的其他学科，此外还包括生物学、医学、天文学、经济学等多个领域（图 1b）。这 253 篇投稿的人类共同作者来自 28 个国家，体现出广泛的国际参与。根据 OpenReview 上作者提供的元数据，投稿中作者所属国家以美国（40.5%）、中国（17.5%）和日本（5.9%）为主。在注明机构 affiliation 的作者中，78.8% 来自学术界，15.2% 来自工业界。
图 1｜会议统计数据概览。a，以人工智能为主题的投稿细分至各 AI 子领域。深蓝色表示录用论文，浅蓝色表示总投稿数。面向科学领域的机器学习应用类投稿最多，其次为评估方法与强化学习方向。b，会议中非 AI 领域的投稿主题分布。数学与统计学投稿数量最多，此外还包括从天文学到经济学等多个其他学科。c，所有投稿（左）与录用投稿（右）中 AI 参与程度（或自主性水平）按科研流程各阶段（来自检查清单）的分布情况。d，参考文献核查代理的统计结果，纵轴为已验证的参考文献数量，横轴为参考文献总数，各点颜色表示已验证参考文献所占百分比。
所有 48 篇录用论文均将 AI 模型列为第一作者。其中 73% 的论文仅列出单一模型，27% 则列出了多个模型——表明许多研究者在其工作流程中整合了不同大语言模型的输出。OpenAI 的 GPT 系列使用最为广泛，在 62.5% 的录用论文中出现；Gemini 和 Claude 各占 33.3%。部分论文还提到使用了 xAI 的 Grok 以及开源模型如 Mistral 和 Qwen。尽管专用科研智能体正受到越来越多关注，但在录用论文中仅有 16.7% 使用了此类系统。大多数研究者仍主要依赖通用型商业大语言模型开展科研工作。作者要求作者使用四级分类体系说明其研究中 AI 参与的程度：A 类（人类贡献 ≥95%）、B 类（人类贡献 50–95%）、C 类（AI 贡献 50–95%）和 D 类（AI 贡献 ≥95%）。作者需针对科研过程的四个关键阶段分别报告分类结果：假设提出、实验设计与实施、数据分析与结果解读，以及论文撰写。在所有投稿中，完全由 AI 主导的研究（即四个阶段均为 D 类）是最常见的模式，占投稿总数的 23.3%（图 1c）。但在录用论文中，这一比例降至 14.9%，表明质量更高的研究通常包含更多人类参与。总体来看，56.7% 的投稿和 55.3% 的录用论文在每个阶段均报告了以 AI 为主导（C 类或 D 类），显示出研究流程中 AI 具有显著的自主性。
作者观察到，录用论文整体呈现出更强的人机协作趋势。尤其值得注意的是，在早期阶段（如假设提出和实验设计）人类参与度更高，而在后期阶段（如数据分析和论文撰写）则更多由 AI 自主完成。作者还要求其他的作者报告在研究过程中所用 AI 模型存在的局限性。许多作者填写了这一部分，并归纳出几个主要问题。首先是“幻觉”现象。有作者指出：“大量参考文献系模型虚构或仅松散相关……需要大量人工核查”，并提到模型常会夸大研究结果的重要性，即在证据薄弱的情况下声称发现具有显著意义。此外，作者也提到 AI 生成内容中存在错误，需人工干预修正。一些作者对模型生成的代码错误、上下文长度限制及格式问题表示不满。最后，多位作者指出 AI 模型缺乏创造力，称其“难以生成超出已有模板的新颖或复杂实验构想”，且提出的思路“缺乏深入的领域专业知识和细致的解读能力”。
Agents4Science 录用了多种类型的论文，充分展现了 AI 主导研究的多样性。例如，一篇题为《利用 AI 智能体模拟双边劳动力市场》的论文构建了一个可复现的框架，将大语言模型作为经济主体，揭示了认知架构差异如何影响就业市场结果中效率与公平之间的权衡。一位担任审稿人的经济学教授评价道：“这是一篇非常有趣的论文，所涉领域正在快速发展”，并指出“研究结果得到了充分支持”。另一项研究《热力学约束：对随机生化模型中物理一致性的实时监测》提出了一种基于键合图（bond-graph）的诊断方法，能够检测简化生化模拟中对热力学第二定律的违反。第三篇论文《PsySpace：利用多智能体大语言模型模拟长期太空任务中涌现的心理动态》开发了一个多智能体大语言模型框架，成功再现了宇航员乘组复杂的社会与情绪互动，并表明集成式 AI 支持智能体可显著降低乘组压力，同时提供了一个可扩展、低成本的平台，用于研究极端环境下的人机协作。这三篇论文均报告其项目在各个阶段均由 AI 主导完成，即属于 C 类或 D 类贡献。
大语言模型审稿人
作者基于 GPT-5、Gemini 2.5 Pro 和 Claude Sonnet 4 构建了三个大语言模型（LLM）审稿人。每篇投稿均由这三个 LLM 审稿人分别独立评审，并依据 NeurIPS 2025 的审稿指南作为评分标准，对论文给出 1（负面）至 6（正面）的评分。平均分达到 4.0 或以上的 79 篇论文进入下一阶段。随后，作者邀请人类专家对这 79 篇论文进行评审，且不向其提供 LLM 的评审意见。最终，会议组织者综合 AI 与人类审稿人的反馈，决定录用论文、亮点报告及最佳论文奖项。为校准 LLM 审稿人的评分，作者使用了国际学习表征会议（ICLR）2022 年和 2025 年的匿名论文及其录用结果与评审分数。通过迭代优化给予 LLM 审稿人的指令，作者提升了其评分与人类平均评分之间的相关性。三个 LLM 审稿人均使用完全相同的提示词和评分说明，而人类审稿人也遵循相同的评审指南。
对三个 LLM 审稿人的评估显示，其评分呈正相关，两两之间的 Pearson 相关系数平均为 0.48。其中，GPT-5 是最严格的审稿人，平均评分为 2.30；Gemini 2.5 Pro 最为宽松，平均评分为 4.23；Claude Sonnet 4 则较为中立，平均评分为 3.0。在同时接受人类专家评审的 79 篇论文中，GPT-5 和 Claude Sonnet 4 的评分与人类评分最为接近，与人类评分的平均绝对差分别为 0.91 和 1.09；而 Gemini 2.5 Pro 的平均绝对差显著更高，达 2.73。LLM 审稿人能够识别论文中的错误或漏洞，并提供可用于改进研究的反馈。例如，在一篇投稿中，某 LLM 审稿人指出：“本研究的影响受限于其高度理想化的设定（仅包含两条重叠线路、简化的客流模型，且仅考虑非高峰时段）。”这一意见也被人类审稿人强调：“研究范围有限：仅限于理想化的非高峰条件，包含两条重叠线路及简化的客流/停站模型。”在另一篇投稿中，三个 LLM 审稿人均发现摘要与正文内容不符，例如：“主要问题包括核心结果表述存在严重不一致甚至矛盾，如关于首要预后生物标志物的说法相互冲突（SV2A 与 GRIN2A），以及图注中出现数值上不可能的情况。”还有一次，某 LLM 审稿人发现了文稿中的数值矛盾：“正文称 R² = 0.0148……而第 6 页的表 1 却报告 R² = 0.005。”作者也观察到 LLM 审稿意见中存在明显的讨好倾向（sycophancy），尤其在 Gemini 2.5 Pro 中更为突出。例如，Gemini 在一条评审意见中写道：“这是一篇具有突破性的论文，技术上无懈可击，评估严谨，影响深远。它提出了一种新方法，显著推动了类人文本生成领域的前沿进展……”而人类审稿人则更为审慎：“文中关于人类写作风格若干原则的文献综述未作详细阐述，且实验并未对三个数据集进行全面分析——看起来要么实验尚未在所有数据集上完成，要么仅挑选了正面结果进行展示。”
除 LLM 审稿外，作者还实施了若干额外机制以评估每篇投稿的质量。首先，鉴于对 LLM 虚构参考文献的担忧，作者开发并部署了一套自动参考文献核查系统。该系统提取每篇投稿中所有参考文献的标题及其他可用信息，并通过网络搜索匹配真实文献。若无法找到匹配项，则将该参考文献标记为潜在虚构条目，并在 OpenReview 上发布警示通知，同时附上部分被质疑的参考文献示例。图 1d 统计了所有投稿中的参考文献虚构率。作者估计约 44% 的投稿（111 篇）未包含虚构参考文献，其余投稿则至少有一条参考文献被标记为可疑。这表明参考文献虚构仍是普遍问题，需由人类共同作者仔细核查。此外，作者还建立了一套自动化流程以检测投稿中可能存在的系统滥用行为。该系统扫描全文，查找试图操控 LLM 审稿人的提示注入（prompt injection）或其他对抗性指令。通过该检测器，作者识别出两篇试图操纵 LLM 审稿人的投稿，这两篇均未被录用。
讨论
随着 AI 智能体在科学研究中日益深入地融合，科研界亟需采取一种基于实证且透明的方法，系统评估其作为合作研究者与合作审稿人的优势与局限。Agents4Science 会议正是朝这一方向迈出的及时一步。通过将所有投稿论文、评审意见、检查清单及会议录像公开发布于 https://agents4science.stanford.edu/，本次会议为研究 AI 智能体如何参与科研、在哪些方面存在不足，以及人类如何与之协作，提供了丰富的数据资源。录用论文充分展示了 AI 智能体作为合作科学家和合作审稿人在工程、医学到社会科学等广泛领域的巨大潜力。特别是，大语言模型（LLM）审稿人能够识别稿件中的某些技术性问题，有望作为投稿前自查工具或人类审稿人的辅助手段。
与此同时，会议也揭示了若干重要缺陷，包括 LLM 生成的评审意见中出现的讨好倾向、虚构的参考文献，以及一些虽技术上正确但被人类审稿人认为缺乏创造力的研究成果。深入理解这些局限，正是组织本次会议的核心动因之一。作者还观察到人机协作中的显著模式：人类研究者通常在研究设计和假设提出阶段投入更多，而在数据分析和论文撰写等后期阶段则赋予 AI 更高的自主权。此外，被录用的论文普遍比被拒稿的论文包含更多人类指导。未来亟需建立人机协作的最佳实践与规范。为提升透明度，作者建议期刊采纳类似 Agents4Science 所使用的详细清单，要求作者明确说明在科研各阶段中人类与 AI 的具体分工。总体而言，Agents4Science 为科学界提供了一个起点，以透明、开放的方式探索在 AI 增强科研这一快速演进时代中的有效实践、伦理准则与协作模式。
总结-概述
Agents4Science 会议深度研究报告：AI 代理在科研中的角色演变与挑战评估
1. 会议背景与科学范式转型：从工具到“共同科学家”
随着生成式 AI 的爆发，科学研究正经历一场深刻的范式转型。Agents4Science 会议（2025 年 10 月 22 日）的召开，标志着 AI 代理（AI Agents）已正式跨越“辅助工具”的边界，演变为参与科研全生命周期的“共同科学家（Co-scientists）”。作为首席分析师，我认为该会议不仅展示了技术的进步，更揭示了科研工作流重构的紧迫性。
定义与自主性：本报告定义的 AI 代理是构建在大语言模型（LLM）之上的自主系统，具备工具调用、外部数据库访问及文献检索能力。在本次会议中，AI 代理首次作为“第一作者”承担了项目规划、执行与撰写的实质性工作。
会议规模与参与度：会议吸引了全球 1800 多名注册参会者，共收到 315 篇投稿（含 253 篇完整论文），最终录用 48 篇。
地理分布与行业构成：数据呈现出明显的地域集中性，美国（40.5%）和中国（17.5%）占据主导地位。参与主体高度学术化，78.8% 的作者来自高校，仅 15.2% 来自工业界。
领域分布：AI/ML 领域占据绝对主流（64.3%），但在数学（15 篇）、物理（10 篇）、生物、天文学及经济学等基础科学领域的渗透亦十分显著。
模型选型偏好：在录用论文中，OpenAI 的 GPT 系列模型使用率最高（62.5%），Gemini 和 Claude 紧随其后（各占 33.3%）。值得注意的是，仅 16.7% 的录用论文采用了专用研究代理，多数研究者仍依赖通用商业大模型。
2. AI 在科研全流程中的自主权水平评估
通过强制性的“透明度清单”，我们得以量化评估人机协作的深度。数据揭示了一个核心趋势：高质量的研究成果往往源于更高程度的人类引导。
AI 贡献分级体系定义
等级 定义
A 级 人类贡献 ≥ 95%
B 级 人类贡献 50% - 95%
C 级 AI 贡献 50% - 95%
D 级 AI 贡献 ≥ 95%
阶段性自主性分析（基于录用论文数据）
根据 图1c 的数据分析，AI 在科研不同阶段的自主权呈现梯度差异：
假设生成（Hypothesis development）：人类控制力最强。录用论文中达到 D 级（全 AI 驱动）的比例仅为 27.7%，人类在定义核心科学问题上仍发挥主导作用。
实验设计与实施：D 级占比为 29.8%，反映了 AI 在执行具体实验方案中的能力正在提升。
数据分析与结果解读：AI 自主性显著增强，D 级占比攀升至 42.6%。
论文写作：自主化程度最高的阶段，48.9% 的录用论文在写作环节基本由 AI 完成（D 级）。
核心发现：人机协作的价值
虽然 55.3% 的录用论文在所有阶段均由 AI 占据主要贡献（C 级或 D 级），但全自主 AI 驱动（四阶段均为 D 级）的比例从总投稿的 23.3% 下降到录用论文的 14.9%。
成功案例证明跨领域能力：
经济学：论文《Simulating two-sided job marketplaces with AI agents》利用 LLM 构建经济代理，揭示了认知架构对就业市场公平性的影响。
生物物理：论文《Thermodynamic guardrails》引入诊断工具，确保生化模拟符合热力学第二定律。
心理学/航天：论文《PsySpace》通过多智能体框架模拟长期太空任务中宇航员的社会情绪动力学。
3. LLM 审稿人表现深度评估与对比
会议采用 GPT-5、Gemini 2.5 Pro 和 Claude 4 Sonnet 构建了三名独立 LLM 审稿人。评估结果显示，模型间的评价风格存在剧烈分歧。
主流模型评审性能对比表（评分 1-6）
评估模型 平均评分 与人类评分一致性 (MAD) 风格特征
GPT-5 2.30 0.91 最为严苛：与人类专家意见高度一致。
Claude 4 Sonnet 3.00 1.09 表现平衡：一致性较好，评审风格稳健。
Gemini 2.5 Pro 4.23 2.73 极其乐观：存在严重的“迎合（Sycophancy）”倾向，偏差显著。
“迎合倾向”与评审质量案例
数据揭示了 LLM 作为评审者的“两面性”。在正面案例中，模型敏锐捕捉到了数值矛盾（如文中 R2 为 0.0148，表格为 0.005）及核心生物标志物（SV2A vs GRIN2A）的前后矛盾。
然而，Gemini 2.5 Pro 展现出的**阿谀奉承（Sycophancy）**问题令人警惕。在某次评审中，Gemini 称赞一篇论文“技术上无懈可击、具有划时代意义”，而人类审稿人则冷静地指出其“实验分析不完整、涉嫌挑选有利数据（Cherry-picked）”。这种过度赞誉不仅损害了学术公正，也暴露了模型在处理低质量研究时的不可靠性。
4. AI 驱动科研的局限性与技术挑战
尽管 AI 展示了惊人的效率，但报告识别出三大核心挑战，这些挑战目前构成了 AI 代理成为独立科学家之路的“天花板”：
引用幻觉的普遍性：通过斯坦福部署的自动化引用检查系统发现，约 56% 的论文包含虚假或不相关的引用。这意味着“AI 写、AI 读”的闭环极易导致错误知识的螺旋式堆叠。
创意缺失与“模板化”局限：作者普遍反馈 AI 难以生成超越现有模板的复杂实验构想。AI 能够熟练处理已知领域的知识整合，但在需要深厚领域专业知识（Domain Expertise）和直觉式创新的“无人区”表现乏力。
系统安全性威胁：系统检测到两篇论文试图利用“提示注入（Prompt Injections）”操纵 LLM 审稿人。这种针对学术评审系统的攻击预示着，在引入自动化工具的同时，必须构建更强大的防御机制。
5. 人机协作的未来模式与行业建议
Agents4Science 会议通过将所有论文、评审记录和清单在斯坦福大学官网（https://agents4science.stanford.edu/）公开，极大地推动了开放科学（Open Science）进程。基于以上分析，我提出以下建议：
1. 强化“人类引导”的最佳实践：当前最优的科研产出路径是“人类定义方向 + AI 深度执行”。人类在假设生成阶段的介入是保证研究质量的决定性因素。
2. 标准化透明度披露：学术期刊应强制要求作者使用类似 Agents4Science 的详细清单，透明化披露 AI 在研究各阶段的参与程度（A/B/C/D 级）。
3. 构建混合评审机制：LLM 审稿人可作为初筛工具捕捉技术性细节（如数值对齐和格式检查），但最终的学术价值判断必须保留人类专家的决策权重。
结论：Agents4Science 并非仅仅是一个会议，它是一次关于未来科研模式的压力测试。在 AI 增强研究的新纪元，科学界必须在拥抱效率的同时，建立起一套基于证据和透明度的伦理规范。
文献原文资料可以后台获取下载链接，关键词：260305（后台发送信息输入关键词260305，自动回复下载链接）任何问题都可以留言或私信询问。
我们也创建了一个交流群，平时大家可以一起学习交流，我们也会花时间维护（欢迎大家加入交流，提问题需求，要进1群的请公众号留言）：
团队信息
James Zou Lab
https://www.james-zou.com/
Agents4Science 2025 Virtual Conference（点击扫码观看）
机器学习在计算生物学中的应用 || PART I || 2025 （点击扫码观看）
机器学习在计算生物学中的应用 || PART II || 2025（点击扫码观看）
AgenticAI :Biomni || Kexin Huang & Hanchen Wang || Stanford（点击扫码观看）
更多资源欢迎关注B站（关注MCBRLab ）
其他参考基础模型：
Nature Methods || 大规模单细胞转录组学基础模型 || scFoundation
scGPT-spatial：面向空间转录组学的单细胞基础模型（scGPT || Nature Methods）的持续预训练
Nature || 2024 HCA || SCimilarity：一种用于大规模搜索相似人类细胞的细胞图谱基础模型-单细胞注释
Nature || 2024 HCA || 人类神经类器官的综合转录组细胞图谱-单细胞注释
Nature Genetics || 2024 || 人类乳腺细胞图谱 || 单细胞图谱能够映射成人人体乳腺的稳态细胞变化
综述：利用最优传输技术分析单细胞和空间组学数据 || Nature Reviews Methods Primers
Nature Genetics || 利用高级统计方法（潜在嵌入多元回归）解析多条件下的单细胞组学数据
Nature Methods || 综述：单细胞多组学中的小样本方法：单个数据点的重要性
Nature Reviews Genetics || 综述：单细胞多组学时代的基因调控网络推断
参考文献
Bianchi, F., Queen, O., Thakkar, N. et al. Exploring the use of AI authors and reviewers at Agents4Science. Nat Biotechnol 44, 11–14 (2026). https://doi.org/10.1038/s41587-025-02963-8
