











课程系统讲解了Transformer LLM的工作原理。首先回顾了语言模型从词袋、Word2Vec(静态词嵌入)到RNN+注意力的演进。核心在于Transformer架构,它通过自注意力机制(Q、K、V向量进行相关性评分与信息聚合)实现并行处理。生成式LLM包含三大组件:分词器(子词划分)、Transformer块堆栈(自注意力层与前馈网络)和语言模型头(概率输出)。关键概念包括自回归生成、上下文长度、KV缓存及位置编码(如RoPE)。近期优化包括高效的注意力机制(如分组查询注意力GQA)和混合专家模型(MoE,稀疏激活以提升效率)。最终揭示了LLM本质是在处理词元ID的数字序列。
更多深度内容在同名公众号:AI炼金坊
#吴恩达 #大模型 #transformer #llm
更多深度内容在同名公众号:AI炼金坊
#吴恩达 #大模型 #transformer #llm


