本文档为大疆 2026 年机载智能算法开发白皮书，围绕大疆智能算力开放平台，完整介绍平台能力、机载算法全流程开发、无人机端使用、YOLOv8/HRNet18 两种适配模型开发细则、航拍影像 AI 元数据解析方案，面向行业开发者开放无人机机载芯片算力，支持自研算法部署至指定行业机执行智能识别作业。
一、智能算力开放平台基础信息
平台定位与网址
平台官网为https://developer.dji.com/cn/ai-developer/，核心能力是开放行业无人机机载芯片算力，开发者完成本地模型训练、平台量化验证后，可将自研 AI 算法部署无人机，适配各类垂直行业智能检测场景。
三大核心亮点
算力开放：开放机载芯片算力，配套完整算法上机开发工具，简化自定义机载模型开发；
智能作业：云端融合算法媒体流，实时对飞行画面做智能检测，搭配算力实现自动化作业流程；
算法数据保护：大疆不参与模型训练、不提供云端训练环境、不存储开发者训练样本与模型文件，保障数据安全。
支持机型
仅适配 DJI Matrice4 系列、Matrice4D 系列、Matrice 400 三款行业无人机。
标准机载算法开发总流程
注册大疆开发者→申请机载算法开放权限并通过审核→下载模型适配 patch 文件→准备业务数据集→本地完成模型训练→平台上传模型做量化转化、性能验证（可选）→按需组合检测 + 分割模型→按飞行器 SN 在线 / 离线分发模型。
二、机载算法完整开发操作流程
2.1 开发者账号与权限申请
登录大疆开发者网站注册个人 / 企业开发者，基础信息填写后自动通过；
进入算力开放页面提交机载算法试用申请，填写企业简介、业务应用场景，后台人工审核，结果以邮件通知。
2.2 开发资源获取与数据准备
审核通过后在平台控制台下载适配文件，包含 patch 补丁文件、YOLOv8/HRNet18 配套适配说明文档，二选一开发检测或分割模型；
训练数据要求：数据规模越大、画质越高训练效果越好，数据集必须取自真实业务场景，与落地场景高度匹配，保障模型泛化能力。
2.3 本地模型训练规范
当前平台仅支持 YOLOv8（目标检测）、HRNet18（图像分割）两类网络，开发者需在对应开源工程中打入大疆提供的 git patch 补丁后再开展训练。
2.4 模型上传、量化与验证
控制台上传训练完成的.pth 模型文件，同步上传 zip 格式量化标定图片（建议 100-1000 张），选择适配机型、镜头类型（可见光 / 红外）、分辨率（2K/4K）、识别类别；
平台自动完成模型量化转换，文件名将对终端用户可见，需谨慎命名；
可选发起模型验证任务，模拟无人机机载算力校验识别效果，可自定义置信度、重叠度、预选框数量参数，验证图片分辨率需低于 1080。
2.5 模型组合配置（检测 + 分割联用）
支持将 YOLOv8 检测模型与 HRNet18 分割模型绑定组合使用，配置时检测、分割识别枚举名称需一一对应（如 A-1、B-2），禁止多对多绑定，同时可统一设置过滤像素、置信度等全局识别参数。
2.6 模型分发两种模式
在线分发：创建分发任务，绑定目标飞行器 SN 序列号，设置算法有效期、识别阈值，直接云端推送给对应设备；
离线分发：基于设备 SN 完成模型签名，下载离线导入包，通过 SD 卡导入 DJI Pilot 2 遥控器，再上传至飞行器。
三、飞行器端第三方算法使用流程
使用前必须将飞行器固件、DJI Pilot 2 App 升级至最新版本，区分算法导入、识别应用、航线联动、告警记录四大功能。
算法导入管理
App 首页进入智能管理 - 算法管理，分云端、本地两种导入方式：云端需连接司空 2 云平台下载算法；本地通过 SD 卡导入离线模型包；算法仅能在飞行器静止时上传，飞行中不支持加载第三方算法，支持卸载已安装机载算法。
AI 实时识别功能
飞行界面开启 AI 识别，下拉菜单选择自研第三方算法，可自定义识别置信度、告警开关，开启告警后会自动抓拍快照存入告警列表，支持画面闪烁、弹窗、音效三种告警提示，还能设置各类目标的识别触发数量阈值。
巡逻航线联动 AI 算法
新建巡逻航线时可绑定第三方自研算法，航线飞行过程中自动执行目标检测，可提前配置识别目标、告警触发动作，实现全自动巡检识别。
告警记录查询导出
智能管理页面告警列表会存储全部识别告警快照与数据，支持完整告警报告导出，便于业务复盘。
四、YOLOv8 目标检测模型适配开发细则
4.1 网络硬性适配约束
基于 MMYOLO v0.6.0 开源代码开发，仅允许使用指定配置文件yolov8_s_syncbn_fast_8xb16-500e_coco.py；识别总类别≤10 类；如需适配 4K 分辨率，必须将 widen_factor 参数从 0.5 改为 0.25，否则量化失败；网络深度缩放系数、输出通道、归一化、预处理等核心模型参数禁止修改。
4.2 交付量化文件清单
训练完成后向大疆提交：.pth 模型权重、500-1000 张量化标定图片、NMS、预选框数量等检测配套算法参数。
4.3 Linux 开发流程
安装 Miniconda/Anaconda 搭建 Python 虚拟环境；
克隆 MMYOLO 源码、切换指定版本、打入 DJI 补丁；
安装 MMEngine、MMCV、MMDetection 全套依赖；
配置数据集路径、类别数量、调色板；
多 GPU 分布式执行训练指令。
4.4 Windows 新手开发流程
固定无中文、无空格 D 盘目录结构，新建 mmyolo_work 总文件夹，划分源码、补丁、数据集子目录；
依次安装 Git、Anaconda、CUDA11.7+CUDNN8.5、VC++14.0 编译工具；
创建 Python3.8 虚拟环境，安装适配 PyTorch 及视觉依赖；
Git 克隆源码并应用 patch 补丁，修正 Windows 换行报错；
修改配置文件：数据集路径、类别数量（≤10）、Windows 单线程加载参数；
使用 LabelImg 标注工具制作 COCO 格式数据集；
单卡执行训练，显存不足可调低 batch_size，最优权重 best_ckpt.pth 作为交付文件，附带类别清单、配置说明文档打包提交。
五、HRNet18 图像分割模型适配开发细则
网络适配约束
基于 MMSegmentation 开源库指定 commit 版本开发，打入专用 HRNet18 补丁，仅可使用fcn_hr18s_4xb2-160k_cityscapes-832x832.py配置文件；分割类别总数≤5 类；仅 batch_size、训练迭代间隔、数据集、类别调色板、分类数量少数参数可修改，其余网络底层参数禁止改动。
交付文件
训练完成提交.pth 权重文件、500-1000 张标定图片，配套类别、调色板相关参数说明。
六、航拍图片 / 视频 AI 识别元数据解析方案
提供 Python 开源 Web 演示工程，可解析无人机拍摄带 AI 识别数据的图片、视频，提取每一帧目标检测框、类别、坐标等元数据，支持结果可视化绘制。
工程目录结构
分为服务启动脚本、前端页面、核心解析模块、Protobuf 协议依赖库、静态资源（字体、图标），protos 协议定义文件为可选文件。核心模块区分图片解析、M4T/DjMd 格式视频解析、M4E/Meta 格式视频解析三类工具。
基础运行步骤
安装 Python3.6 + 与 Pillow 依赖，运行 server.py 启动本地 8000 端口网页服务，浏览器上传图片 / 视频，即可查看可视化识别图与 JSON 结构化元数据，视频最多抽样 50 帧解析。
二次集成开发
提供独立 Python 解析接口，可嵌入 Flask/Django/FastAPI 等自有业务系统；分别封装图片解析、双格式视频解析调用逻辑，读取原始二进制 AI 识别协议数据，自主绘制识别框、导出结构化 JSON 结果；配套解析工具下载链接附于文档。
整体文档覆盖行业无人机自研 AI 算法从开发、云端部署、机载落地、业务数据解析全链路，区分新手 Windows、专业 Linux 两套训练环境教程，明确两种主流视觉模型的强制开发规范、参数限制与交付标准，同时兼顾终端落地使用与后端数据二次开发需求。
后台回复“260808”，可获得下载资料的方法。
