? 什么是大模型幻觉？
大模型幻觉（AI hallucination 或 Model Hallucination）是指AI基于概率生成的”自信型错误“，输出看似合理但完全失实的内容，像极了人类”不懂装懂“的样子。
→ AI一本正经地胡说八道
→ 像学霸写作业时「虚构参考文献」
→ 明明不知道，偏要假装很懂（dbq，有点茶了?）
→ 用概率拼凑出”看似合理“的错误答案（哼，还自带理直气壮的气场！）
大模型幻觉的分类
从学术界的共识来看，大模型的幻觉可以分成两大类：
▪️事实性的幻觉：包括事实不一致和捏造事实两类。
▪️忠实性的幻觉：包括不遵循指令和不遵循上下文两类。
? 经典翻车案例
▪️伪造名人名言（莎士比亚根本没说过这话！）
▪️编造历史细节（秦始皇用iPhone？离大谱）
▪️虚构科学结论（”研究表明吃土能减肥“？？）
? 为什么会”幻觉“？
▪️数据偏差：训练语料中的矛盾/错误信息
▪️过拟合：对模糊问题强行自圆其说
▪️创造性”溢出“：文本生成＞事实核查
?避坑指南
1️⃣ 温度系数调整：
控制生成随机性（temperature参数调低至0.3-0.7），减少天马行空，后续会专门介绍温度系数，这是大模型非常重要的一个参数；
2️⃣ 知识边界声明：
提示词加锚点限制范围：”请仅基于XXX条文回答，不确定请说明“、“请基于可靠来源回答”，能一定程度上避免幻觉现象，但不能做到100%避免；
3️⃣ 代码幻觉防御：
开发时用RAG（检索增强生成），实时接入数据库/知识图谱修正结果
?【冷知识】技术越强，幻觉越具欺骗性！
GPT-4的幻觉率比GPT-3.5低15%，但依然可能把”不存在的研究“写得像Nature论文
很开心最近的内容受到了大家的喜欢，还有很多朋友来聊AI和工作的事情，如果能帮到大家的话，那就真的是太棒了！之后会再更新一些大模型实战的内容，以及介绍下如何做AI产品经理、打造AI应用。啊对了！最近部门好像有蛮多HC，有想找工作的朋友也可以联系我哦～
#大模型 #产品经理 #人工智能就业 #春招 #求职 #大模型幻觉 #大模型应用 #新人博主 #薯条小助手 #AI工具 #你被AI的“高级胡扯”坑过吗？[PK]#
大模型幻觉（AI hallucination 或 Model Hallucination）是指AI基于概率生成的”自信型错误“，输出看似合理但完全失实的内容，像极了人类”不懂装懂“的样子。
→ AI一本正经地胡说八道
→ 像学霸写作业时「虚构参考文献」
→ 明明不知道，偏要假装很懂（dbq，有点茶了?）
→ 用概率拼凑出”看似合理“的错误答案（哼，还自带理直气壮的气场！）
大模型幻觉的分类
从学术界的共识来看，大模型的幻觉可以分成两大类：
▪️事实性的幻觉：包括事实不一致和捏造事实两类。
▪️忠实性的幻觉：包括不遵循指令和不遵循上下文两类。
? 经典翻车案例
▪️伪造名人名言（莎士比亚根本没说过这话！）
▪️编造历史细节（秦始皇用iPhone？离大谱）
▪️虚构科学结论（”研究表明吃土能减肥“？？）
? 为什么会”幻觉“？
▪️数据偏差：训练语料中的矛盾/错误信息
▪️过拟合：对模糊问题强行自圆其说
▪️创造性”溢出“：文本生成＞事实核查
?避坑指南
1️⃣ 温度系数调整：
控制生成随机性（temperature参数调低至0.3-0.7），减少天马行空，后续会专门介绍温度系数，这是大模型非常重要的一个参数；
2️⃣ 知识边界声明：
提示词加锚点限制范围：”请仅基于XXX条文回答，不确定请说明“、“请基于可靠来源回答”，能一定程度上避免幻觉现象，但不能做到100%避免；
3️⃣ 代码幻觉防御：
开发时用RAG（检索增强生成），实时接入数据库/知识图谱修正结果
?【冷知识】技术越强，幻觉越具欺骗性！
GPT-4的幻觉率比GPT-3.5低15%，但依然可能把”不存在的研究“写得像Nature论文
很开心最近的内容受到了大家的喜欢，还有很多朋友来聊AI和工作的事情，如果能帮到大家的话，那就真的是太棒了！之后会再更新一些大模型实战的内容，以及介绍下如何做AI产品经理、打造AI应用。啊对了！最近部门好像有蛮多HC，有想找工作的朋友也可以联系我哦～
#大模型 #产品经理 #人工智能就业 #春招 #求职 #大模型幻觉 #大模型应用 #新人博主 #薯条小助手 #AI工具 #你被AI的“高级胡扯”坑过吗？[PK]#
