AI视频生成技术大爆发：从原理到应用，一文读懂未来内容创作

北京大学2025年内部研讨精华，带你掌握AI视频的现在与未来

2024年初，当OpenAI发布Sora模型的那一刻，AI视频生成技术迎来了它的“ChatGPT时刻”。一分钟的高清视频、对物理世界的深刻理解、多角度镜头的流畅切换——这一切让世界为之震动。

短短一年多时间，AI视频技术已经从实验室的“技术炫技”，迅速演变为影视预演、广告创意、短视频制作和在线教育的实用工具。在这场席卷全球的内容创作革命中，如何理解AI视频的技术原理？当前主流模型的能力究竟如何？各行业又该如何应用这项技术？

北京大学AI肖睿团队发布的这份内部研讨报告，为我们提供了系统而深入的答案。

01 认识AI视频：厘清概念，看清全貌

AI的核心概念谱系

要理解AI视频，首先需要厘清人工智能的几个核心概念。

狭义AI与通用AI：今天我们谈论和使用的一切AI，都属于狭义AI的范畴。它们是专门为解决特定任务而设计的工具，比如人脸识别、语音助手、图像生成等。而通用人工智能（AGI）则是一个更宏大的目标——能够像人类一样思考、学习和解决各种不熟悉任务的智能体，目前尚未实现。

基于规则的AI与基于学习的AI：早期的人工智能依赖于人类专家编写的显式逻辑规则，就像一本写好的“说明书”。而现代AI的主流是基于学习的范式——算法像学生一样从海量数据中自主学习规律，这也是后续所有高级功能的基础。

决策式AI与生成式AI：在基于学习的AI范式下，根据任务目标的不同，AI分为两大核心能力。决策式AI专注于识别、判断和预测，比如人脸识别、疾病诊断；而生成式AI则致力于创造全新的原创内容，从写文章、绘画到生成视频。

AIGC：生成式AI创造的内容被称为AIGC（AI Generated Content）。文本生成、图像生成、视频生成、音频生成都是AIGC在不同媒介上的具体表现形式。其中，视频生成是技术最复杂、发展最迅速的分支之一。

AI视频的三大核心任务

AI视频并不仅仅指“生成视频”，它涵盖三大核心任务：

视频生成：从非视频模态（如文本、图像）信息中，从零开始创造全新的视频序列。这是本报告的重点，具体包括文生视频、图生视频、基于音频生成视频、数字人生成等。

视频编辑：在现有视频的基础上，通过AI进行内容、风格、时序或属性的修改与提升，如视频修复、物体替换、风格化转换、超分辨率增强等。

视频理解：让AI模仿人类的视觉和认知能力，解析、描述和推理视频内容，如行为识别、事件检测、自动字幕生成、视频问答等。

技术发展历程：从GANs到DiT的跃迁

AI视频技术的发展经历了几个重要阶段。早期以GANs及其变体为主导，实现了像素级生成与操控，出现了Deepfake（换脸）技术和短视频风格迁移，但时长仅限秒级，分辨率低，逻辑不稳定，存在较多伪影。

如今，以DiT（Diffusion + Transformer）为核心的模型成为主流。这一突破使得视频生成进入新阶段：分钟级时长、高保真画质、物理逻辑连贯性显著增强。Sora在2024年初的亮相，正式开启了“AI视频元年”。

02 技术原理与架构：揭秘AI视频的“大脑”

什么是“模型”？

在深入了解技术之前，我们需要明确“模型”的概念。AI模型是一个为了完成特定智能任务而被创造出来的、基于数据和算法的系统。它通过在海量数据集上进行“训练”，学会了识别特定模式，并做出预测或生成新内容的能力。

与传统程序不同，AI模型的核心特点是“学习”而非“编程”出来的，由算法和数据共同构成，能够对未知数据具备泛化和推断能力。

视频生成的完整流程

AI视频生成遵循一个宏观流程：

模型训练阶段：收集海量视频-文本对、图像-文本对等训练数据 → 进行数据预处理和模型训练 → 得到一个学会了世界规律的“数字大脑”。

视频生成阶段：用户输入文本、图像或视频指令 → 训练好的模型根据指令生成全新的视频。

虽然各厂商遵循相同的基本流程，但在技术架构、数据质量与训练细节等方面的差异，直接决定了可生成视频的时长、物理真实感和最终视觉效果。

为什么扩散模型成为主流？

扩散模型之所以能够在众多生成范式中脱颖而出，主要归功于三大原理性优势：

稳定性：相比于GAN难以收敛的对抗式训练，扩散模型以目标明确、过程稳定的去噪任务，从根本上缓解了训练不稳定和模式崩溃的问题。

多样性：在生成结果上，扩散模型不仅在多样性上超越了GAN，还克服了自回归模型难以维持全局一致性的缺陷。

可控性：凭借无分类器引导（CFG）带来了前所未有的文本可控性，从而在文生图等应用中取得突破性成功。

两大架构路线：U-Net vs DiT

当前AI视频生成主要有两条技术路线：

U-Net架构：代表模型包括Pika、Gen-2、Stable Video Diffusion等。这类模型容易训练，但生成的视频内容一致性较差，长视频生成存在困难。

DiT架构（Diffusion + Transformer）：代表模型包括Sora、可灵AI、PixVerse V2等。训练成本较高，但更容易保证生成视频的长度和一致性，是目前的主流方向。

Transformer：改变游戏规则的关键

Transformer不是一种生成范式，而是一种革命性的“序列处理”架构。其核心是自注意力机制，赋予了AI视频模型前所未有的“全局视野”和“上下文理解能力”，是实现高质量、长时程、高一致性视频生成的关键。

时间一致性：通过全局视野，模型能记住一个物体在视频开头是什么样，确保它在结尾时不会“画风突变”，解决了GAN模型的“闪烁”难题。

理解复杂的动态关系：它能理解“A导致B”的逻辑。比如，一个人跑过水坑，模型知道接下来应该是“水花溅起”并且“地面变湿”。

可扩展性：对Transformer来说，长视频、短视频、宽屏、竖屏，都是长短不一的“补丁序列”，可以灵活生成各种尺寸和时长的视频。

三个关键概念：潜空间、时空补丁与CLIP

潜空间：是将巨大且冗余的“像素空间”转换为小巧且高效的“潜空间”的过程。通过在低维、抽象的表示空间中建模，AI能够捕捉数据背后的高层次语义特征和结构，实现计算效率和生成质量的巨大突破。

时空补丁：将视频不仅在空间上（宽和高）切块，还在时间维度上切块，形成“小方块视频”。这一技术统一了数据格式，降低了计算复杂性，让Transformer能够高效处理各种尺寸和时长的视频。

CLIP：OpenAI提出的能同时理解文本和图像的模型。它学会了将内容相似的图片和文本映射到内部“表示空间”中非常接近的位置。在视频生成中，CLIP将用户文本提示转换为向量表示，指导生成过程，确保内容与描述高度一致。

训练数据：决定模型能力的上限

视频生成模型的发展与高质量训练数据集密切相关。随着模型架构逐渐趋同，数据质量成为了决定模型生成效果上限的核心变量。

训练数据主要来源包括：公开数据集如WebVid-10M、Panda-70M等视频-文本对；经典的视频理解数据集如UCF-101、Kinetics；以及各巨头公司拥有的不公开私有数据集。

研究显示，高质量、高相关性的数据对模型性能的提升效果远超单纯增加数据量。在百万量级数据的基础上，筛选或提升数据质量，比增加数据量更能带来实质性的帮助。

03 能力发展与突破：从“能看”到“逼真”

当前AI视频已具备专业级潜力

与早期模型相比，当前主流AI视频生成器在多个维度上实现了质的飞跃：

分辨率与时长的双重突破：目前1080p分辨率已成为主流模型的标配，部分模型已支持4K画质。在视频时长上，快手可灵模型已支持生成长达2分钟的1080p视频。

物理真实感与细节控制：新一代模型在理解和模拟物理世界上取得了显著进步。主流模型能够理解重力、惯性等基本规律，生成符合物理常识的场景。

运动与镜头语言的精准掌控：“可控性”是过去一年最显著的突破。用户不再需要通过反复“抽卡”来获得满意的效果，模型能更精准地理解文本指令，控制主体运动轨迹、镜头移动及景深变化。

音画同步的革命性突破：2025年5月，谷歌发布Veo 3模型，首次实现了原生音频生成，将V2A技术集成到视频生成过程中，真正开启AI视频的“有声时代”。

实时生成与交互技术：以字节跳动AAPT技术和Decart的Mirage模型为代表的实时视频生成技术，能实现每秒24帧甚至更高的生成效率，支持用户在生成过程中进行实时编辑和互动。

当前挑战与不足

尽管进步显著，AI视频生成距离完美仍有很长的路要走：

时序一致性依然是当前最大的挑战。在较长视频中，主体特征“漂移”和逻辑不连贯的问题依然存在。

在处理复杂的物理交互、精细的面部情感以及多主体的空间关系时，模型仍会暴露出“鬼畜”失真、情感缺失、逻辑错乱等问题。

人体动作与结构的合理性仍需提升。在生成体操等复杂动作时，模型可能出现身体扭曲和不合理的肢体动作。

如何科学评估AI视频能力？

随着技术成熟，单纯依赖个例展示和主观评价已无法满足行业需求。建立统一、全面、可量化的评测基准变得至关重要。

定量评估方法包括：FVD（评估视频整体真实感的黄金标准）、Video IS（衡量清晰度和多样性）、CLIP Score（评估文本-视频一致性）等。

定性评估方法包括：A/B测试（让评估者在两个模型生成的视频中选择更优者）、等级评分（从真实感、连贯性、美学等维度打分）等。

以VBench和SuperCLUE为代表的综合评测体系，正推动行业从评估“表面真实性”向“内在真实性”深化，评估维度涵盖创造性、常识推理、可控性、人体动作与结构、物理规律等五大方面。

04 行业应用案例与价值：AI视频正在重塑各行业

影视与娱乐：从创意辅助到全流程重构

AI视频生成技术正在深刻改变影视行业的生产方式。

AI短剧的爆发：2025年第一季度，传统短剧市场陷入低迷，而AI短剧凭借低成本、高效率和个性化定制的优势填补了市场空缺。抖音账号“梦婆婆”的《九尾狐男妖爱上我》累计播放量超1.1亿；《我在阴间送外卖》制作成本仅5000元左右，获超20万点赞；《白骨精前传》抽卡素材生成成本仅6000元。

知名导演积极拥抱AI：2024年12月，李少红、贾樟柯、叶锦添等9位知名导演集体参与可灵AI导演共创计划，发布9部AIGC电影短片。OpenAI也邀请多个工作室和艺术家使用Sora创作，标志着顶级AI技术与传统影视行业的深度融合。

全流程AI赋能：以《哪吒之魔童降世》为例，制作团队通过构建多模态生成技术栈重构了60%的工业流程，实现生产周期减少30%，人均生产力提高470%，成本降低20%，画面质量提升40%。

全链路革新：

• • 前期制作：AI辅助剧本创作与分析、概念图与故事板生成、虚拟勘景
• • 中期拍摄：虚拟制片与LED影棚结合、数字替身与演员年轻化/老年化
• • 后期制作：智能剪辑与调色、视觉特效、AI配音与本地化（多语言发行的门槛和成本大幅降低）

短视频与内容营销：应用热度最高的领域

基于降本增效+海量需求，短视频和内容营销是当前AI视频最火热、应用最广泛、商业模式最清晰的领域。

惊人的传播效应：2025年夏天，一段8秒的AI生成监控视频——后院蹦床上10只兔子蹦跳玩耍——引爆全球，播放量突破5亿。这条视频反其道而行，用极致仿真和“伪装真实”制造反差，引发全民“找茬”狂欢。

品牌广告的创新：NBA一条30秒的AI广告完全由Veo 3制作，成本仅2000美元（降低95%），单人次独立完成，决赛期间曝光量超1亿次，品牌认知度提升25%。宁德时代推出“AI大片，邀您主演”的个性化广告，用户上传照片即可生成自己主演的驾驶大片。

虚拟主播与营销：义乌商贸城45岁的摊主傅江燕，对着手机镜头喊出“12345”，AI自动生成36种语言版本的营销视频，凭此“卖空”了三个集装箱的货品。罗永浩数字人直播7小时，观看人次超130万，GMV突破5500万。

教育培训：从“辅助工具”到“核心引擎”

AI视频生成技术正从零星的尝试走向规模化、体系化发展。

批量课程生产：英国博尔顿学院信息与学习技术中心仅7人，却服务于超10,000名在线学生。采用AI视频制作工具后，10分钟视频制作时间从3天缩短到30分钟，节省80%的时间，一年内添加了400多个视频。

K-12教育创新：济南市莱芜区花园学校教师用AI生成李白虚拟形象，与学生对话，增强古诗教学的代入感。上海市浦东教育发展研究院为中小学教师示范如何利用剪映AI功能制作古诗词视频。

AI虚拟教师：香港科技大学推出亚洲首批十位AI讲师，来自不同国家、拥有不同背景和专业，能用多种语言教学，极大激发了学生的学习兴趣。仁川国立大学打造出韩国首位AI人类教授。

个性化学习：斯坦福大学的VideoTutor平台能根据学生提出的任何问题，迅速制作结构化脚本和专业配音的视频讲解，通过动态视觉效果将知识直观呈现。

文旅行业：打造沉浸式新体验

AI视频技术在文旅行业的应用日益广泛，涵盖城市宣传、历史教育、节日活动推广、旅游营销和内容创作。

文旅宣传片：快手可灵AI携手淮安打造《脉承淮水》，话题总曝光17亿+，视频总播放2亿+。生数科技与北京城市学院联合制作的《中轴线上的北京文化》AIGC系列宣传片，利用首尾帧功能实现“一镜到底”穿越。

AI+IP融合：2025大阪世博会上，科大讯飞的“AI孙悟空”用中、日、英三语与观众实时交互，让中国文化“活”了起来。广西“刘三姐数字人”提供导游、客服、导览和AI对话等智慧旅游服务。

沉浸式体验：青岛海上皇宫U-SEA奇幻海世界综合运用AI、XR、AR、MR等技术“还原”远古海洋。数字敦煌项目让珍贵文化遗产以数字形态永久保存并广泛传播。

医疗健康：降低知识门槛，提升服务效率

AI视频技术已在医疗健康多个场景得到有效应用，其中视频生成技术主要用于患者教育、医学培训和指导。

医学教育培训：南伊利诺伊大学医学院的虚拟病人“兰迪”，帮助学生练习、犯错、建立自信。MeVGAN可以生成高质量的合成结肠镜检查视频，用于结直肠癌筛查培训。

患者教育与知情同意：泰国朱拉隆功大学医学院采用AI生成数字人视频，根据患者的语言、文化水平和年龄提供个性化沟通，显著提升患者理解度和满意度。英国Moorfields眼科医院应用AI制作白内障手术知情同意视频，有效缓解患者紧张情绪。

医院导诊服务：中山市人民医院的AI导诊数字人提供7×24小时服务，节省导诊人力。南阳市中心医院日均门诊量超4000人，通过AI数字人实现“诊前导诊-诊中陪诊-诊后管理”全周期服务。

新闻与媒体：从自动化到沉浸式

新闻虚拟主播：《杭州新闻联播》在2025年春节期间首次采用六位数字人主播进行新闻播报，以双播模式完成，实现零失误。India Today的AI主播Sana已进入晚间9点黄金时段，常态化承担天气、股市、星座等板块。

沉浸式新闻叙事：《纽约时报》的VR新闻《The Displaced》通过AI优化场景渲染，让用户“走进”难民儿童的日常生活空间，获得超300万次体验。清华大学与新华社合作《AIGC说真相》，创新新闻生产方式。

05 工具选择推荐：找到最适合你的AI视频平台

国内主流平台

可灵AI（快手）：全球第一梯队，具备极强的物理规律模拟能力，擅长写实风格与长视频续写。支持1080P直出，最长可达2分钟，适合剧情短片、广告二创、专业影视制作。国内直连，中文支持完善。

即梦AI（字节跳动）：无缝衔接抖音生态，生成速度快，模板特效极其丰富，价格亲民。画面美学高，色彩饱满，风格多样。适合抖音短视频、信息流广告、电商产品展示。有免费额度，1元可试用7天。

海螺AI（MiniMax）：图生视频能力卓越，能将2D插画完美转化为电影级动态视频，动漫感极佳。语义理解强，适合动漫/插画动态化、表情包制作、人物口播视频。

Vidu（生数科技 & 清华大学）：独创多主体一致性技术，对中国元素理解深刻，适合处理复杂场景的叙事。1080P高清，动态范围大，光影物理模拟优秀。适合教育课程、企业宣传、复杂多角色视频。

PixVerse（爱诗科技）：创意表现力强，内置300+动态特效模板，支持多风格切换及音效生成，海外表现亮眼。适合广告分镜、创意视频、MV制作、动漫创作。

国际主流平台

Sora（OpenAI）：行业技术标杆，顶尖的物理世界模拟能力与长视频连贯性。重力、碰撞、流体动力学模拟行业领先。适合顶尖创意工作室、高预算影视项目。

Runway ML：专业影视后期首选，提供精细的“导演级”运镜控制与强大的视频编辑工具链。内置时间线编辑器，实现一体化工作流程。适合专业广告片、电影后期特效。

Pika Labs：社交媒体“爆款机”，独家的“融化”、“爆炸”、“蛋糕化”等病毒式特效备受欢迎，擅长制作3-4秒完美循环视频。适合社交媒体特效、风格化动漫。

Veo（Google DeepMind）：人物一致性好，在速度、成本和稳定性上达到商业最佳平衡。支持带对白、唇形同步和音效的1080P视频生成，可延续长达141秒的叙事。适合企业营销、高端人物场景广告。

Luma AI：3D与特效专家，擅长生成产品旋转、空间镜头、视差动画。Ray3模型具备推理能力，原生支持HDR视频生成。适合3D内容创作、产品展示、建筑可视化。

工具选用建议

按场景选择：专业影视剧情选Runway或可灵AI；短视频运营选即梦AI或Pika；动漫插画动态化选海螺AI或PixVerse；电商产品展示选Luma AI或即梦AI；中国风内容选Vidu；长视频叙事选Veo、Sora或可灵AI。

按门槛选择：国内用户首选可灵AI、即梦AI、海螺AI、Vidu，国内直连，中文支持，支付便捷。海外平台如Runway、Pika需科学上网和外币信用卡。Sora、Veo则深度绑定巨头生态，门槛较高。

核心建议：构建多模型协作的工作流

没有任何一个平台能完美覆盖所有需求，真正的高手懂得利用多个工具取长补短。做二次元选海螺，做写实选可灵，做特效选即梦——精准匹配不仅为了省钱，更是为了极致的效率。

国产第一梯队的能力已经处于领先水平，网络直连和语义理解优势，比国外工具的理论高画质更能快速创造商业价值。

最重要的是，软件迭代以“周”为单位。掌握镜头语言、分镜构思与提示词逻辑，才是跨越工具周期、不被AI取代的核心竞争力。

展望未来：人机共创的新范式

AI视频技术的发展，最终将指向“人机共创”的新范式。它不会简单地替代人类创作者，而是将人类从繁琐的重复劳动中解放出来，去专注于更具价值的创意构思与情感表达。

现在是AIGC和Agent的阶段，下一步将会是端侧智能、硬件智能、具身智能。所有的组织和个人都将基于AI、与AI融合，AI将成为像水电一样的基础设施。

使用人工智能的人，终将淘汰不使用人工智能的人。把握原理、躬身入局、随时否定自己——这是人工智能时代的生存策略。

本文内容整理自北京大学AI肖睿团队《AI视频生成技术原理与行业应用（2025年）》内部研讨报告

☟☟☟

☞人工智能产业链联盟筹备组征集公告☜

☝