推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

TwelveLabs 深度研究报告:视频超智能的野心与技术突破

   日期:2026-07-06 09:09:26     来源:网络整理    作者:本站编辑    评论:0    
TwelveLabs 深度研究报告:视频超智能的野心与技术突破

01

融资速览
维度
详情
最新轮次
Series B
融资金额
$100M(1亿美元)
联合领投
NEA(硅谷顶级VC)、NAVER Ventures(韩国互联网巨头NAVER旗下)
参投方
Amazon、Radical Ventures、Korea Investment Partners、Index Ventures、Quadrille Capital、Red Bull Ventures
累计融资
>$207M(2.07亿美元)
历史轮次
2022 Seed ~$17M → 2024 Series A $50M(NEA + NVIDIA NVentures领投)→ 2026 Series B $100M
估值
未公开,但基于同类对标推算约 $600M-$1B(准独角兽级别)
关键信号:
  • Amazon以战略投资者身份入局——不仅是资金,更是商业绑定。TwelveLabs的模型已通过Amazon Bedrock分发超过一年,且宣布使用AWS自研Trainium芯片训练模型。
  • 同时获得NVIDIA和Amazon投资——TwelveLabs是韩国首个同时获得这两大AI基础设施巨头投资的AI创业公司。NVIDIA早在2024年就通过NVentures入局(Series A),反映其"先合作、再投资"的风格。
  • NAVER Ventures的硅谷首投——2025年NAVER Ventures成立硅谷分支后,TwelveLabs是其首个portfolio公司,且直接升格为Series B联合领投方。

02

公司档案
维度
详情
全称
TwelveLabs Inc.
总部
旧金山(核心AI研发在首尔)
成立时间
2021年
CEO
Jae Lee(李在),UC Berkeley CS,在韩国军队网络作战司令部服役期间结识另外四位联合创始人
联合创始人
共5位韩国籍:Jae Lee(CEO)、Aiden Lee(CTO)、Soyoung Lee(BD负责人)、Dave Chung、SJ Kim
团队规模
未公开,约100-200人级别(基于融资规模推算)
办公布局
旧金山 + 首尔 → 计划新增纽约、伦敦、洛杉矶
创始人核心理念:
"Language is only a compressed representation of reality. AI should ultimately understand the real world through video."
——Jae Lee 接受《每日经济》采访时
"Five years ago, we made a contrarian bet: The substrate of machine intelligence is recorded reality in motion, not language."
——Jae Lee 在Series B公告中
这是一家从成立第一天就坚持"Video First"(视频优先)而非"Language First"路线的公司,这在LLM狂热的大背景下属于极为罕见的独立判断。

03

核心技术架构:Marengo + Pegasus 双模型体系
TwelveLabs 构建了一套视频认知系统(Video Cognition System),核心由两个互补的模型组成,形成了"感知→理解→推理"的完整流水线:
架构总览
┌──────────────────────────────────────────────────────────┐
│                Video Cognition System                     │
│                                                          │
│  ┌──────────────┐       ┌──────────────┐                 │
│  │   Marengo    │  ───▶ │   Pegasus    │                 │
│  │  (感知层)     │       │  (推理层)     │                 │
│  │              │       │              │                 │
│  │ 视频 → 向量   │       │ 向量 → 理解   │                 │
│  │ Embedding    │       │ VLM / 推理   │                 │
│  └──────────────┘       └──────────────┘                 │
│         │                      │                         │
│         ▼                      ▼                         │
│  ┌──────────────────────────────────────┐                │
│  │         视频结构化记忆(持久存储)       │                │
│  │  场景边界 · 实体 · 时序片段 · 语义上下文  │                │
│  └──────────────────────────────────────┘                │
│         │                                               │
│         ▼                                               │
│  ┌──────────────────────────────────────┐                │
│  │     应用层:API / Bedrock / Rodeo     │                │
│  └──────────────────────────────────────┘                │
└──────────────────────────────────────────────────────────┘
3.1 Marengo — 多模态视频Embedding模型
Marengo 是 TwelveLabs 的核心感知模型,负责将视频"翻译"成机器可检索的向量空间。
关键能力:
能力
描述
多模态融合
同时处理视觉(Visual)、音频(Audio)、语音(Speech)、屏幕文字(OCR Text)四大信号
统一向量空间
将视频、音频、图片、文本全部映射到同一个语义空间中,支持跨模态检索
长视频支持
Marengo 3.0 支持最长 4小时 的视频
多向量架构
单一视频生成多个细粒度向量(非单一全局向量),保留时间维度信息
Composed Search
支持图文+文本的组合查询(如"这个人 + 穿着红色衣服 + 在户外")
50%更小向量
相比上一代,embedding维度减半,索引速度提升2倍
性能基准(Marengo 3.0 vs 竞争对手):
模型
综合性能
MSRVTT
MSVD
VATEX
Marengo 3.0
78.5%
72.5
78.2
86.4
Amazon Nova Multimodal
61.8%
69.6
Google Vertex Multimodal
50.2%
59.5
Marengo 2.7(上代)
~68%
71.7
Marengo 3.0 在综合benchmark上领先Amazon Nova16.7个百分点、领先Google Vertex28.3个百分点。延迟方面也更优(0.05秒/秒视频 vs Vertex 0.5秒/秒视频)。
核心技术创新:
  • 非简单的"抽帧+图片理解",而是原生视频理解——将视频视为动态系统而非静态帧的序列
  • 多向量embedding使语义搜索可以在子场景级别精准定位,而非只能返回整段视频
  • 支持multilingual search,跨语言查询
3.2 Pegasus — 视频语言推理模型
Pegasus 是 TwelveLabs 的推理层,基于Marengo产出的向量或直接分析视频,生成结构化的语义理解结果。
演进路径:
版本
发布时间
核心突破
Pegasus-1 (80B)
2023.11
首个Video-to-Text基础模型,80B参数,3亿视频-文本对训练
Pegasus 1.2
2024
支持最长1小时视频,工业级延迟,SOTA长视频理解
Pegasus 1.5
2026.04
从Clip QA转向时间轴结构化元数据生成,RLHF驱动
Pegasus 1.5 的革命性转变:
Pegasus 1.5 和之前的版本有本质不同:
  • v1.2以前:"请对这个视频片段回答一个问题" → 问答式
  • v1.5:"请对整个视频生成时间轴上的结构化元数据" → Schema驱动的结构化理解
具体来说,Pegasus 1.5 能产出:
视频 → {
  scenes: [
    {start: "00:00", end: "02:15", type: "对话", entities: ["人物A", "人物B"], mood: "紧张"},
    {start: "02:15", end: "05:30", type: "动作", entities: ["人物A", "车辆"], mood: "激烈"},
    ...
  ],
  summary: "...",
  key_topics: ["谈判", "追车"],
  confusion_flags: [{time: "03:45", reason: "画面遮挡"}],
}
关键性能:
指标
数据
上下文窗口
261,120 tokens 共享(输入+输出)
延迟保证
15分钟视频内TTFT一致;30-60分钟视频响应更优
vs Gemini 2.5 Pro
综合分割质量 高出30%(NAB 2026发布数据)
训练方法
自监督预训练 + 语义对齐微调 + RLHF(人类反馈强化学习)
Pegasus-1 架构细节(来自arXiv技术报告):
  • Video Encoder— 将视频帧编码为patch序列(spatial: 10倍patch数提升, temporal: 1.5倍帧数提升,每视频总patch量15倍增长)
  • Video-Language Alignment Model— 将视频表示与语言空间对齐
  • Language Decoder (LLM)— 接收对齐后的嵌入+用户prompt,生成文本输出
三组件联合训练,80B总参数
3.3 核心差异化:视频认知系统 vs 传统的视频AI
这是 TwelveLabs 最被低估的技术创新——"先理解,再记忆,最后复用"的架构哲学:
传统方法(LLM视频理解)
TwelveLabs 方法
每次查询抽几帧,从零开始分析
一次性全量理解视频
查询结束后,分析结果丢弃
结构化记忆持久存储
每次新查询重跑整个流程
记忆复用,后续查询零成本推理
理解深度受限于采样帧
全量处理+多模态融合
类比:传统LLM像每次考试前重新读一遍课本;TwelveLabs像先把课本精读做成思维导图,以后查什么直接从图里找。前者每次耗费算力,后者一次投入、无限复用。
这套系统被TwelveLabs称为"智能体复合增长(intelligence that compounds)"——每新增一个视频,系统的整体理解能力就增强一分。

04

产品与应用层
4.1 API + Amazon Bedrock 分发
  • 通过自有API和Amazon Bedrock Marketplace双渠道分发
  • 已与Elasticsearch等生态深度集成(向量搜索场景)
  • 定价从免费层到企业级合同
4.2 Rodeo — 首个应用层产品(2026.06发布)
Rodeo 是 TwelveLabs从基础设施迈向应用层的第一步:
"AI-powered creative co-pilot that transforms raw video footage into finished stories in minutes"
  • 将Marengo + Pegasus的能力封装为创作者工具
  • 自然语言驱动:用自然语言找到镜头 → 编辑 → 组合成片
  • 定位:视频创作的"AI Agent",而非简单的编辑工具
4.3 已验证的企业用例
行业
客户/案例
效果
电商直播
GS Shop(韩国)
视频点击率翻倍,购买意向提升9倍
政府/国防
美国联邦机构
视频情报分析
体育
多个体育视频组织
海量赛事视频索引与检索
广播
主流广播网络
Pegasus 1.5已投产
4.4 开发者生态
  • 开发者收入年增长80%-120%
  • GitHub开源了评估框架(pegasus-1-eval)

05

竞争格局:理解 vs 生成,完全不同的赛道
这是理解 TwelveLabs 价值最关键的一点——它选择了和所有AI视频热门公司不同的方向:
                    视频生成                          视频理解
                ┌──────────────┐              ┌──────────────┐
                │ OpenAI Sora  │              │ TwelveLabs   │
                │ Google Veo   │              │ (Marengo +   │
                │ Runway       │              │  Pegasus)    │
                │ Kling/Pika   │              │              │
                └──────────────┘              └──────────────┘
                    创造新视频                    理解已有视频
                    面向创作者                    面向企业/机构
                    消费级应用                    基础设施层
为什么"理解"比"生成"更是个好生意?
  • 存量市场更大:全球已有的海量视频资产(监控、体育、企业培训、政府档案)需要被索引和理解,这是一个即时的市场——不像生成视频还需要创造需求
  • 竞争壁垒更高:生成视频的技术门槛在快速下降,而做"视频理解"需要从数据、架构、训练等各层面做到原生视频优先,不是"给LLM加个视觉插件"就能追赶的
  • 错位竞争:不与OpenAI/Google正面交锋,在它们不擅长的赛道上建立护城河
竞争对手矩阵(理解赛道):
公司
估值
切入点
与TwelveLabs对比
Google Gemini
多模态LLM,视频作为视觉理解
抽帧式,每次查询重新分析
Amazon Nova
多模态Embedding
性能差距大(61.8% vs 78.5%)
Runway
$5.3B
视频生成 + World Model
生成赛道,不直接竞争
传统视频分析公司(如BriefCam)
计算机视觉+规则引擎
无多模态理解,无NLP查询能力
TwelveLabs的蓝海无人占据:Non-Generative × Video Understanding × Enterprise Infrastructure

06

战略意义分析
6.1 为什么Amazon投资?(而非只是合作)
  • AWS争夺AI工作负载的利器:视频embedding和推理是巨大算力消耗源
  • Trainium芯片需要一个"杀手级工作负载"来证明价值,TwelveLabs是完美的展示案例
  • 通过Bedrock分发绑定企业客户,形成"用TwelveLabs → 用AWS → 用Trainium"的闭环
6.2 为什么NAVER Ventures押注?
  • NAVER(韩国"Google")旗下有LINE、Webtoon等大量视频内容资产,TwelveLabs的技术直接可用于其内容生态
  • 韩国AI技术出海的投资窗口——TwelveLabs是其中最有美国市场渗透力的
  • 2025年硅谷分支成立后的首个portfolio,有"开门红"的象征意义
6.3 TwelveLabs的终局想象
TwelveLabs的愿景清晰而宏大:
  • 成为所有视频数据的"可查询层"(the queryable layer of all video data)
  • 就像Google索引了网页、Elastic索引了日志——TwelveLabs要索引全世界的视频。如果这个愿景实现,它将成为AI时代的视频基础设施,价值类似Snowflake之于数据仓库。

07

风险与挑战
风险
分析
巨头碾压风险
Google/OpenAI可能将视频理解能力深度集成到自家LLM中,形成平台优势。但TwelveLabs的"Video First"架构深度的护城河是真实存在的
数据壁垒
3亿视频-文本对的训练数据规模虽大,但Google/YouTube拥有不可比拟的数据优势
商业化速度
$207M融资总额 vs 开发者年增长80-120%,但绝对收入规模仍小,需要证明企业级大单的持续获取能力
技术路径依赖
完全绑定AWS(Bedrock + Trainium),未来可能需要多云策略
地缘风险
韩国创始团队+美国总部+美国联邦政府客户=地缘政治敏感三角

08

关键洞察总结
  1. "视频优先"是真正的技术护城河:TwelveLabs从架构底层就不是"给LLM加视频能力",而是"视频原生理解"。这决定了Marengo 3.0在benchmark上对Amazon Nova和Google Vertex的巨大领先(78.5% vs 61.8% vs 50.2%)。
  2. "理解一次,多次使用"是成本结构的革命:传统LLM每次查询都要重新处理视频,TwelveLabs一次性生成结构化记忆后无限复用。在企业大规模视频处理场景中,这个成本差异是数量级的。
  3. 从基础设施到应用层的垂直整合:Marengo(感知)→ Pegasus(推理)→ Rodeo(应用),从API到SaaS的全栈覆盖,形成"卖铲子+自己挖矿"的双重变现路径。
  4. 战略性融资方阵:NVIDIA(芯片)+ Amazon(云)+ NAVER(内容生态)= 从算力底层到上层应用的完整资本同盟。
  5. 时间窗口有利:视频理解赛道的巨头尚未all-in,TwelveLabs有12-24个月的窗口期建立市场领先地位。$100M Series B给了它足够的弹药。

09

附录:融资时间线
时间
轮次
金额
领投方
关键参投方
2021
创立
5位韩国籍联合创始人
2022.春
Seed
~$5M
2022.12
Seed Ext
$12M
2024
Series A
$50M
NEA + NVIDIA NVentures
Index Ventures, Radical Ventures, Korea Investment Partners
2025
中间轮
~$40M
Intel, Samsung, Databricks, Snowflake, In-Q-Tel
2026.07
Series B
$100M
NEA + NAVER Ventures
Amazon, Radical Ventures, Korea Investment Partners, Index Ventures, Quadrille Capital, Red Bull Ventures
累计
>$207M
这份报告基于截至2026年7月4日的公开信息编制,数据来源包括:SiliconANGLE、GlobeNewswire、TechFundingNews、Pulse News Korea、arXiv技术论文、TwelveLabs官方博客、AWS Press Center、Tracxn等。
免责声明:本报告仅供研究参考,不构成任何投资建议。
 
打赏
 
更多>同类资讯
0相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008326号-18
Powered By DESTOON