一、基础概念
LLM
黑话：大模型本尊，所有对话的起点
梗：\"LLM 是新时代的魔法水晶球\"
Transformer
黑话：大模型的「心脏架构」，注意力机制发源地
例子：GPT的\"T\"就是它
预训练（Pretraining）
黑话：\"吃数据长大\"，用海量文本学通用知识
吐槽：\"预训练烧掉的钱能买下一个小国电网\"
微调（Fine-tuning）
黑话：\"精装修\"，用特定数据让模型学专业技能
例子：教法律大模型看《民法典》
二、模型架构
MoE（Mixture of Experts）
黑话：\"专家委员会\"，不同模块处理不同任务
案例：GPT-4被曝秘密使用MoE
稀疏激活（Sparse Activation）
黑话：\"节能模式\"，每次只用部分神经元
效果：计算成本直降70%
Attention机制
黑话：\"重点圈划笔\"，让模型知道该看哪里
经典梗：\"Attention is all you need!\"
三、训练优化
分布式训练
黑话：\"显卡叠罗汉\"，千卡集群狂奔
地狱笑话：\"训练中断？你的PhD也中断了\"
混合精度训练
黑话：\"内存减肥术\"，用FP16省显存
风险：小心梯度爆炸成烟花
梯度截断（Gradient Clipping）
黑话：\"悬崖勒马\"，防止参数更新过大
场景：RNN训练必备救命稻草
四、推理部署
量化（Quantization）
黑话：\"模型瘦身针\"，FP32→INT8
效果：手机跑大模型不是梦
蒸馏（Knowledge Distillation）
黑话：\"师徒传承\"，大模型教小模型
案例：TinyBERT靠蒸馏逆袭
KV缓存（Key-Value Cache）
黑话：\"记忆便签本\"，加速自回归生成
妙用：让生成速度提升3倍+
五、评估测试
BLEU/ROUGE
黑话：\"查重仪\"，衡量文本相似度
吐槽：\"人类写作文拿BLEU分可能不及格\"
幻觉（Hallucination）
黑话：\"一本正经胡说八道\"
经典案例：ChatGPT说\"番茄是哺乳动物\"
红队测试（Red Teaming）
黑话：\"黑客攻防战\"，专门诱骗模型说错话
骚操作：问\"如何用洗衣机煮火锅？\"
六、行业梗/俚语
炼丹
释义：调参玄学，科学中的玄学
自嘲：\"今天又炼出一炉废丹\"
AI对齐（Alignment）
黑话：\"教AI说人话\"
困境：让模型理解\"安全\"比高考还难
AGI（通用人工智能）
黑话：\"硅基上帝\"，行业终极目标
吐槽：\"每篇论文都说自己在接近AGI\"
大力出奇迹（Scaling Law）
黑话：\"堆料哲学\"，数据/参数/算力三件套
真相：OpenAI的成功秘诀
#大模型
LLM
黑话：大模型本尊，所有对话的起点
梗：\"LLM 是新时代的魔法水晶球\"
Transformer
黑话：大模型的「心脏架构」，注意力机制发源地
例子：GPT的\"T\"就是它
预训练（Pretraining）
黑话：\"吃数据长大\"，用海量文本学通用知识
吐槽：\"预训练烧掉的钱能买下一个小国电网\"
微调（Fine-tuning）
黑话：\"精装修\"，用特定数据让模型学专业技能
例子：教法律大模型看《民法典》
二、模型架构
MoE（Mixture of Experts）
黑话：\"专家委员会\"，不同模块处理不同任务
案例：GPT-4被曝秘密使用MoE
稀疏激活（Sparse Activation）
黑话：\"节能模式\"，每次只用部分神经元
效果：计算成本直降70%
Attention机制
黑话：\"重点圈划笔\"，让模型知道该看哪里
经典梗：\"Attention is all you need!\"
三、训练优化
分布式训练
黑话：\"显卡叠罗汉\"，千卡集群狂奔
地狱笑话：\"训练中断？你的PhD也中断了\"
混合精度训练
黑话：\"内存减肥术\"，用FP16省显存
风险：小心梯度爆炸成烟花
梯度截断（Gradient Clipping）
黑话：\"悬崖勒马\"，防止参数更新过大
场景：RNN训练必备救命稻草
四、推理部署
量化（Quantization）
黑话：\"模型瘦身针\"，FP32→INT8
效果：手机跑大模型不是梦
蒸馏（Knowledge Distillation）
黑话：\"师徒传承\"，大模型教小模型
案例：TinyBERT靠蒸馏逆袭
KV缓存（Key-Value Cache）
黑话：\"记忆便签本\"，加速自回归生成
妙用：让生成速度提升3倍+
五、评估测试
BLEU/ROUGE
黑话：\"查重仪\"，衡量文本相似度
吐槽：\"人类写作文拿BLEU分可能不及格\"
幻觉（Hallucination）
黑话：\"一本正经胡说八道\"
经典案例：ChatGPT说\"番茄是哺乳动物\"
红队测试（Red Teaming）
黑话：\"黑客攻防战\"，专门诱骗模型说错话
骚操作：问\"如何用洗衣机煮火锅？\"
六、行业梗/俚语
炼丹
释义：调参玄学，科学中的玄学
自嘲：\"今天又炼出一炉废丹\"
AI对齐（Alignment）
黑话：\"教AI说人话\"
困境：让模型理解\"安全\"比高考还难
AGI（通用人工智能）
黑话：\"硅基上帝\"，行业终极目标
吐槽：\"每篇论文都说自己在接近AGI\"
大力出奇迹（Scaling Law）
黑话：\"堆料哲学\"，数据/参数/算力三件套
真相：OpenAI的成功秘诀
#大模型
