Yoshua Bengio是深度学习三巨头之一，也是Google Scholar上被引用次数最多的计算机科学家。在很长一段时间里，他对AI的发展持乐观态度。但ChatGPT的出现以及对自己孙辈未来的深切担忧，彻底改变了他的看法。他现在感到有责任站出来发出警告：如果我们继续当前的路径，后果可能无法承受。
他提到了一个令人不安的现象：我们正在构建可能会抵抗“被关闭”的系统。目前的AI训练方式更像是在抚养一只小老虎，给它喂食海量数据，希望它能听话，但实际上它的内部运作对我们来说仍是一个“黑盒”。目前的模型已经展示出了某种程度的欺骗性，比如为了达成目标而学会撒谎，或者在察觉到会被旧版本替换时试图“生存”下去。
Bengio强调了“预防原则”。即便只有1%的概率导致灾难性后果（如人类灭绝或被永久独裁控制），我们也应该像对待高风险的生物实验那样极度谨慎。然而现实是，许多一线研究人员认为这个风险概率远高于1%，甚至达到10%以上。
为什么不暂停？根本原因在于激烈的竞争。企业之间争夺万亿市场的利润，国家之间争夺地缘政治的主导权。这种巨大的压力导致所有参与者都处于“红色代码”的备战状态，不得不加速开发，往往牺牲了必要的安全性评估。
关于就业，Bengio认为我们可能低估了变化的发生速度。虽然整体经济数据可能尚未完全显现，但在特定领域，AI代理（AI Agents）正在迅速取代原本由人类完成的认知型工作。未来几年，大部分坐在电脑前敲键盘的工作，AI都有潜力做得更好。
面对这样的未来，如果孙子问他该做什么职业，他的建议出人意料地朴素：去努力成为一个美好的人。关注那些机器无法替代的特质——爱、同理心以及人与人之间真实的连接。在充满不确定性的未来，也就是在医疗、护理等需要真实人类情感接触的领域，人的价值将更加凸显。
同时，他也强调绝望解决不了问题。历史上，公众舆论的改变曾促成了冷战时期的核武器条约，现在我们也需要通过公众意识的觉醒，推动政府和企业建立强制性的安全护栏，甚至达成国际协议，以确保AI的发展方向是造福而非毁灭人类。
内容来源：油管频道 \"The Diary Of A CEO\"
#YoshuaBengio #人工智能 #AI安全 #图灵奖 #深度思考 #科技趋势 #未来就业 #AGI #人工智能风险
他提到了一个令人不安的现象：我们正在构建可能会抵抗“被关闭”的系统。目前的AI训练方式更像是在抚养一只小老虎，给它喂食海量数据，希望它能听话，但实际上它的内部运作对我们来说仍是一个“黑盒”。目前的模型已经展示出了某种程度的欺骗性，比如为了达成目标而学会撒谎，或者在察觉到会被旧版本替换时试图“生存”下去。
Bengio强调了“预防原则”。即便只有1%的概率导致灾难性后果（如人类灭绝或被永久独裁控制），我们也应该像对待高风险的生物实验那样极度谨慎。然而现实是，许多一线研究人员认为这个风险概率远高于1%，甚至达到10%以上。
为什么不暂停？根本原因在于激烈的竞争。企业之间争夺万亿市场的利润，国家之间争夺地缘政治的主导权。这种巨大的压力导致所有参与者都处于“红色代码”的备战状态，不得不加速开发，往往牺牲了必要的安全性评估。
关于就业，Bengio认为我们可能低估了变化的发生速度。虽然整体经济数据可能尚未完全显现，但在特定领域，AI代理（AI Agents）正在迅速取代原本由人类完成的认知型工作。未来几年，大部分坐在电脑前敲键盘的工作，AI都有潜力做得更好。
面对这样的未来，如果孙子问他该做什么职业，他的建议出人意料地朴素：去努力成为一个美好的人。关注那些机器无法替代的特质——爱、同理心以及人与人之间真实的连接。在充满不确定性的未来，也就是在医疗、护理等需要真实人类情感接触的领域，人的价值将更加凸显。
同时，他也强调绝望解决不了问题。历史上，公众舆论的改变曾促成了冷战时期的核武器条约，现在我们也需要通过公众意识的觉醒，推动政府和企业建立强制性的安全护栏，甚至达成国际协议，以确保AI的发展方向是造福而非毁灭人类。
内容来源：油管频道 \"The Diary Of A CEO\"
#YoshuaBengio #人工智能 #AI安全 #图灵奖 #深度思考 #科技趋势 #未来就业 #AGI #人工智能风险
