OpenAI o1 模型发布前，我们猜想 LLM 迎来 RL 新范式，AGI 路线也随之进入下半场。如何思考 RL 和下半场？OpenAI 科学家姚顺雨的这篇文章带来了很多启发。有评论称这篇文章是 Bitter Lesson 级别的存在。以下是我们为大家划的重点，快速读懂 AI 大神在想什么。（同时也相当推荐大家阅读全文）
1️⃣ AI 上半场人们更关注模型训练方法，所以过去数十年来都是训练方法论的创新先行，催生了许多改变世界的理念和突破，其中经典的代表就是 Transformer。
2️⃣ 进入 AI 下半场，模型评估比模型训练更重要。要想赢得 AI 的下半场，我们必须及时转变心态和技能，也许要更像产品经理。
3️⃣ 我们今天还处于 AI 中场时刻，强化学习的泛化是 AI 进入下半场的关键。
4️⃣ RL的三个关键组成：算法、环境和先验知识。人类之所以可以在各种任务上进行泛化是因为可以思考或推理，语言模型通过 agent reasoning 来实现泛化。
5️⃣ AI 下半场要重新思考模型评估：今天每一代模型攻克 benchmark 的过程标准化，速度也越来越快，AI 能考高分、写出代码，但我们实际生活中的社会生产力却没飞跃、AI 迭代的效用不高，原因就在于 evaluation 和现实脱节。
#ai #agent #创业 #硅谷 #openai #强化学习 #AGI #llm #模型训练 #评估#人工智能 #深度学习 #算法 #大模型 #AI工具 #科技 #机器学习 #创新 #投资 #学术 #跨领域学习
1️⃣ AI 上半场人们更关注模型训练方法，所以过去数十年来都是训练方法论的创新先行，催生了许多改变世界的理念和突破，其中经典的代表就是 Transformer。
2️⃣ 进入 AI 下半场，模型评估比模型训练更重要。要想赢得 AI 的下半场，我们必须及时转变心态和技能，也许要更像产品经理。
3️⃣ 我们今天还处于 AI 中场时刻，强化学习的泛化是 AI 进入下半场的关键。
4️⃣ RL的三个关键组成：算法、环境和先验知识。人类之所以可以在各种任务上进行泛化是因为可以思考或推理，语言模型通过 agent reasoning 来实现泛化。
5️⃣ AI 下半场要重新思考模型评估：今天每一代模型攻克 benchmark 的过程标准化，速度也越来越快，AI 能考高分、写出代码，但我们实际生活中的社会生产力却没飞跃、AI 迭代的效用不高，原因就在于 evaluation 和现实脱节。
#ai #agent #创业 #硅谷 #openai #强化学习 #AGI #llm #模型训练 #评估#人工智能 #深度学习 #算法 #大模型 #AI工具 #科技 #机器学习 #创新 #投资 #学术 #跨领域学习
