?（Large Language Models）是一种基于深度学习的自然语言处理技术，他利用大规模的文本训练，实现强大语言模型的构建。
.
?目前主流的LLM基座都采用Transformer架构，它由多层自注意力机制和前馈神经网络组成，旨在实现较长输入序列的并行处理。
.
⏳LLM的关键技术:
☑️Scaling：更多的模型参数、数据量和训练计算，可以有效提升模型效果。
☑️Training：分布式训练策略及一些提升训练稳定性和效果的优化trick。另外还有GPT-4也提出去建立一些特殊的工程设施通过小模型的表现去预测大模型的表现（predictable scaling）。
☑️Ability eliciting：能力引导。设计合适的任务指令或具体的上下文学习策略可以激发LLM在庞大预料上学习到的能力。
☑️Alignment tuning：对齐微调。为了避免模型输出一些不安全或者不符合人类正向价值观的回复，InstructGPT利用RLHF（reinforcement learning with human feedback）技术实现这一目的。
☑️Tools manipulation：工具操作。为了弥补模型不擅长非文本输出任务和实时信息缺失的问题，让模型可以使用计算器、搜索引擎或者给模型安装插件等工具
.
?大模型发展
分为四个步骤：预训练、监督式微调、奖励建模和强化学习
☑️预训练阶段需要大量算力，但可以节约成本。
☑️后面三个阶段需要人工参与，并且所需的数据和资源庞大。
☑️LLAMA是其中的典型，通过改进解码器架构和使用特定的激活函数提升了训练稳定性和非线性表征能力。
☑️强化学习是最后一步，通过训练二元分类器和强化学习算法，进一步微调模型。
#AI产品经理 #ai产品经理 #大模型 #大语言模型 #llm #LLM #产品经理 #算法 #transformer #职场 #干货分享
.
?目前主流的LLM基座都采用Transformer架构，它由多层自注意力机制和前馈神经网络组成，旨在实现较长输入序列的并行处理。
.
⏳LLM的关键技术:
☑️Scaling：更多的模型参数、数据量和训练计算，可以有效提升模型效果。
☑️Training：分布式训练策略及一些提升训练稳定性和效果的优化trick。另外还有GPT-4也提出去建立一些特殊的工程设施通过小模型的表现去预测大模型的表现（predictable scaling）。
☑️Ability eliciting：能力引导。设计合适的任务指令或具体的上下文学习策略可以激发LLM在庞大预料上学习到的能力。
☑️Alignment tuning：对齐微调。为了避免模型输出一些不安全或者不符合人类正向价值观的回复，InstructGPT利用RLHF（reinforcement learning with human feedback）技术实现这一目的。
☑️Tools manipulation：工具操作。为了弥补模型不擅长非文本输出任务和实时信息缺失的问题，让模型可以使用计算器、搜索引擎或者给模型安装插件等工具
.
?大模型发展
分为四个步骤：预训练、监督式微调、奖励建模和强化学习
☑️预训练阶段需要大量算力，但可以节约成本。
☑️后面三个阶段需要人工参与，并且所需的数据和资源庞大。
☑️LLAMA是其中的典型，通过改进解码器架构和使用特定的激活函数提升了训练稳定性和非线性表征能力。
☑️强化学习是最后一步，通过训练二元分类器和强化学习算法，进一步微调模型。
#AI产品经理 #ai产品经理 #大模型 #大语言模型 #llm #LLM #产品经理 #算法 #transformer #职场 #干货分享
