【技术】 Hojo-ASR-V1 调研报告

基于 Qwen3 LLM 解码器的高性能对话语音识别模型

目录

1. 1. 项目概述与背景
2. 2. 团队背景
3. 3. 模型架构解析
4. 4. 核心能力
5. 5. 性能基准测试
6. 6. 部署要求
7. 7. 前置条件
8. 8. 使用方式与代码示例
9. 9. 输入输出格式
10. 10. 竞品对比
11. 11. 应用场景
12. 12. Roadmap 与局限
13. 13. 总结与建议

1. 项目概述与背景

Hojo-ASR-V1 是由初创团队 Hojo（HojoAI） 开源的高性能对话语音识别模型。项目托管于 GitHub 和 HuggingFace，采用 Apache 2.0 开源协议，允许学术研究、个人项目和商业二次开发。

• • GitHub: https://github.com/HojoAI/Hojo-ASR
• • HuggingFace: https://huggingface.co/HojoAI/Hojo-ASR-V1

模型采用 Encoder-Adapter-LLM 经典架构，以 Qwen3-4B 大语言模型作为解码器，将 LLM 的语义理解能力引入语音识别流程。这一思路与当前 OpenASR Leaderboard 榜单头部模型（NVIDIA Canary-Qwen、IBM Granite-Speech、Microsoft Phi-4-Multimodal）的方向一致——"用语言模型做 ASR 解码"。

"识别不光是'听到什么音、写下什么字'，模型还能借助语义去判断。遇到噪声、口语化的表达、中英文混着说、或者某个领域的专业词，一个懂语义的模型更容易判断出说话人想表达什么。"

2. 团队背景

Hojo 成立约两年，定位为面向知识工作者的 Personal Agent OS，ASR 和 TTS 是这套系统中的两块关键拼图。核心团队长期从事真实语音场景工作：

• • 融资：成立至今完成约 1 亿元人民币的 4 轮融资，目前进行 Pre-A 轮
• • 商业化：自研"大模型 + Agentic OS"已为千万量级 AI 声音设备提供底层语音能力
• • 团队特点：核心成员来自车载语音、智能座舱领域，擅长处理噪声、方言、多人说话等真实复杂场景

3. 模型架构解析

Hojo-ASR-V1 采用 Encoder-Adapter-LLM 三段式架构，结合声学细粒度特征与 LLM 语义能力。核心技术链路如下：

Whisper 特征提取器 → Qwen3-Omni 音频编码器 → Conformer 适配器 → Qwen3-4B LLM 解码器(原始波形→声学特征)    (深度语义编码→隐藏状态)  (多帧声学融合+时序压缩) (语义推理→最终文本)

各模块详解

训练方法

• • 多阶段模块化训练（Multi-stage Modular Training）：分阶段训练各模块，逐步解锁联合训练
• • 强化学习优化（Reinforcement Learning）：在声学匹配基础上进一步优化语义纠错能力
• • 致谢数据来源：Qwen、WeNet、WenetSpeech-Yue（粤语）、WenetSpeech-Chuan（四川话）

⚠️ 关于参数量的重要说明：官方 README 基准测试表标注为 "Hojo-ASR 4B"，对应其 Qwen3-4B LLM 解码器。部分第三方文章声称参数量仅 0.6B，此信息与官方数据矛盾，应以官方 4B 为准。模型总体积约 4B+ 参数（含编码器与适配器）。

4. 核心能力

多语言/方言识别

• • 普通话（Mandarin）
• • 英语（English）
• • 粤语（Cantonese）
• • 四川话（Sichuan dialect）
• • 中英混合代码切换（Code-switching）

复杂场景适配

• • 噪声环境：嘈杂条件下保持高识别率
• • 非正式发音：口语化表达、模糊发音
• • 口语纠正：LLM 语义推断纠正同音字错误
• • 专业术语：借助 Qwen3-4B 语义能力识别领域专有名词

语义级纠错

与传统 ASR 仅依赖声学匹配不同，Hojo-ASR-V1 的 Qwen3-4B 语言模型能根据上下文语义推断正确词汇。这意味着模型不只是"听音写字"，而是"理解语义后输出"，在以下场景表现突出：

• • 同音字/近音词消歧（如"期中"vs"期终"）
• • 口语化表达中的省略、重复、纠正
• • 中英文夹杂场景的语种自动切换
• • 领域专业词汇的准确识别

隐私与本地部署

支持完全本地化部署，敏感语音数据无需上传云端。对于企业会议记录、医疗健康、法律咨询等数据隐私敏感场景尤为重要。

• • ✅ GPU 推理
• • ⚠️ CPU 推理（速度较慢）
• • ✅ 本地离线
• • ✅ 批量推理

5. 性能基准测试

以下为官方公布的英文公开数据集 ASR 基准测试结果（WER ↓，越低越好）：

WER (%) 越低越好。优秀（<5%）：LibriSpeech Clean/Other, SPGISpeech, Tedlium；良好（5-8%）：Voxpopuli, Gigaspeech；一般（>8%）：Earnings22, AMI

数据解读

• • LibriSpeech Clean WER 1.74%，优于 Whisper Large-v3（约 2.1%），接近 OpenASR 榜单头部水平
• • 真实场景数据集（GigaSpeech/VoxPopuli）WER 均控制在 8% 以内，实用性较强
• • 模型未正式提交 OpenASR Leaderboard，但官方称对比可进入前列
• • OpenASR 榜单头部模型（Canary-Qwen-2.5B、Granite-Speech-3.3-8B、Phi-4-Multimodal）平均 WER 约 5.6%-5.9%

6. 部署要求

软件环境

硬件要求

7. 前置条件

环境前置

1. 1. Python 3.10：通过 conda 创建独立环境
2. 2. conda：用于环境管理（Anaconda / Miniconda 均可）
3. 3. pip：用于安装 hojo-asr 包
4. 4. 网络访问：需能访问 PyPI（安装包）和 HuggingFace（下载模型权重）
5. 5. （可选）CUDA 环境：如使用 GPU 推理，需安装对应版本的 CUDA + cuDNN

模型权重

• • 首次调用 HOJO_ASR.load_model("HojoAI/Hojo-ASR-V1") 时自动从 HuggingFace 下载
• • 也可手动从 HuggingFace 仓库下载到本地，使用本地路径加载：load_model("/path/to/model_folder")
• • 需确保磁盘空间充足（4B 模型权重约 8-16GB，取决于精度）

音频输入要求

• • 格式：WAV（官方示例均使用 .wav）
• • 加载方式：支持文件路径列表、WAV 字节流列表、SCP 文件三种输入

8. 使用方式与代码示例

Step 1: 环境创建

conda create -n hojo-asr python=3.10conda activate hojo-asr

Step 2: 安装包

pip install -U hojo-asr

Step 3: 推理代码

from hojo_asr import HOJO_ASR# 加载模型（从 HuggingFace 自动下载，或使用本地路径）model = HOJO_ASR.load_model("HojoAI/Hojo-ASR-V1", device="cuda:0")# --- 输入方式 1: WAV 文件路径列表 ---wav_paths = ["/path/to/audio.wav"]res = model.run_infer(wav_paths, batch_size=10)# --- 输入方式 2: WAV 字节流列表 ---withopen(wav_paths[0], "rb") as f:    wav_bytes = f.read()wav_bytes_list = [wav_bytes, wav_bytes]res = model.run_infer(wav_bytes_list, batch_size=10)# --- 输入方式 3: SCP 文件 ---# scp 文件格式: key /path/to/audio.wavres = model.run_infer("test.scp", batch_size=10)# 输出结果for val in res:print("key :", val["key"], " text :", val["text"])

关键 API 说明

9. 输入输出格式

输入

输出

# 输出示例[    {"key": "audio_001", "text": "大家好今天我们来聊一聊语音识别技术"},    {"key": "audio_002", "text": "Hello, let's talk about ASR technology today"}]

注意：当前输出为纯文本转录结果，不含时间戳和说话人标签。如需时间戳/说话人分离，需自行配合其他工具（如 pyannote.audio）或等待官方后续版本更新。

10. 竞品对比

对比总结

• • Hojo-ASR-V1 的核心差异化：中文场景深度优化 + 中英混合识别 + 粤语/四川话支持，这是 Whisper 和其他英文为主的模型不具备的
• • 精度：LibriSpeech Clean WER 1.74% 优于 Whisper Large-v3，接近 Granite-Speech-8B
• • 商用友好：Apache 2.0 协议，比 Canary-Qwen 的 CC-BY-NC 更适合商用
• • 生态成熟度：Whisper 生态最完善，社区资源丰富；Hojo 作为新项目，生态尚在建设中

11. 应用场景

AI Agent 语音入口

作为智能体的"耳朵"，将语音指令转换为可执行文本，替代键盘成为主要交互方式。识别后可接入 DeepSeek/GPT 等模型进行文本润色与结构优化。

声音输入 → ASR 转写 → 大模型优化 → 进入工作流

系统级语音输入法

通过系统级权限接管全局输入，在浏览器、ChatGPT、Claude、Notion 等任意文本框中实现语音打字。实测体验流畅，日常语音输入可用。

会议实时转写

本地部署实现离线会议纪要生成，避免商业机密语音数据外传。支持长音频批量转录。

播客与视频字幕

快速将长音频内容转为文字稿，支持后续大模型润色与结构化整理。适用于自媒体内容生产。

更多场景

• • 智能客服与电话质检：实时识别客户语音，提取关键信息
• • 医疗/法律领域：专业术语识别 + 本地部署保护隐私
• • 智能硬件：集成到耳机、车载、智能音箱等设备
• • 跨境沟通：中英混合场景识别
• • 方言场景：粤语、四川话语音转文字
• • 二次开发：垂直领域微调（Apache 2.0 允许）

12. Roadmap 与局限

官方 Roadmap

• • ✅ 发布 Hojo-ASR-4B 模型和推理引擎
• • ✅ 支持普通话、英语、粤语、四川话
• • ? 支持更多语言和方言（multi-lingual / multi-dialect）

当前局限

13. 总结与建议

项目定位

Hojo-ASR-V1 是一个在英文基准上表现出色的 LLM-powered ASR 模型，其核心差异化在于中文场景深度优化 + 中英混合识别 + 方言支持。它代表了 Voice AI 领域"用语言模型做语音识别"的主流技术趋势，在 Agent 时代语音入口的竞争中具有一定潜力。

优势

• • 精度顶尖：LibriSpeech Clean WER 1.74%，优于 Whisper Large-v3
• • 中文/方言特色：支持普通话/英语/粤语/四川话 + 中英混合代码切换
• • 语义级纠错：LLM 解码器带来同音字消歧、口语纠正能力
• • 商用友好：Apache 2.0 协议，无商用限制
• • 部署简单：pip install 一行安装，API 设计简洁

不足

• • 无时间戳/说话人分离，功能相对单一（纯转写）
• • 中文/方言场景缺乏公开 benchmark 数据
• • 4B 参数模型对硬件有要求，低配服务器难以运行
• • 项目较新（3 次提交），生态和文档有待完善

  报告基于 GitHub 官方仓库、HuggingFace 模型页面及公开报道整理

数据来源：

    github.com/HojoAI/Hojo-ASR · huggingface.co/HojoAI/Hojo-ASR-V1 · 腾讯新闻报道（2026-06-10）

   报告中 WER 数据均来自官方公布，未经第三方独立验证