国家自然科学基金项目
视频分类和检测关键技术研究
基本信息
项目批准号：62006241
申请代码：F0604
项目名称：视频分类和检测关键技术研究
项目负责人：杨科
依托单位：中国人民解放军军事科学院国防科技创新研究院
研究期限：2021-01-01 至 2023-12-31
资助经费：24.0（万元）
中文摘要：
视频是人类获取信息的重要来源。在当前信息时代，数据爆炸式的增长，随着各种视频拍摄设备的普及，人们日常拍摄并上传视频，互联网和社交媒体上已经积累了大量视频。因此，我们迫切地需要开发能够自动理解分析视频内容的智能系统。为了理解视频中的目标和行为，本文以提高视频分类和视频检测准确度和速度优化目标，围绕图像视频分类、视频时域检测以及视频空间检测等问题，研究其中涉及的若干关键技术。.本项目的主要工作及创新点概括如下：提出一种对时序敏感的视频分类网络，可以有效地对视频中时序进行建模；提出一种时域高分辨率网络，为时域的分割和检测模型的强有力的基准模型;提出一种物体度一致性特征表示，可以为弱监督目标检测提供高质量的候选框，且可用于解释和沟通目标框和像素级目标表示的鸿沟。
英文摘要：
Video is an important source of human access to information. In the information age, the data is growing rapidly. With the popularity of various video capture devices, people have taken and uploaded videos on a daily basis, and a large number of videos have been accumulated on the Internet and social media. Therefore, we urgently need to develop an intelligent system that can automatically understand and analyze video content. In order to understand the objects and actions in the video, this paper optimizes the video classification and video detection accuracy and speed. This paper focuses on several key technologies involved in video classification, video temporal detection and video spatial detection..The main work and novelties of this paper are summarized as follows: we propose a time-sensitive video classification network, which can effectively model the temporal order in the video; we propose a time-domain high-resolution network, a powerful backbone model for the time-domain segmentation and detection model; we propose an objectness consistent feature representation, which can provide high-quality candidate proposals for weakly supervised object detection, and can be used to explain and close the gap between box-level and pixel-level object representation.
结题摘要
视频是人类获取信息的重要来源。在当前信息时代，数据爆炸式的增长，随着各种视频拍摄设备的普及，人们日常拍摄并上传视频，互联网和社交媒体上已经积累了大量视频。因此，我们迫切地需要开发能够自动理解分析视频内容的智能系统。本项目主要围绕图像视频分类、视频空间检测、基于Transformer模型的图像视频分类微调和轻量化等问题，研究其中涉及的若干关键技术。.本项目的主要工作及其意义概括如下：（1）针对视频时空建模问题，提出了一种对时序敏感的视频分类网络，可以有效地对视频中时序进行建模，在常用的视频分类数据集上的结果验证了提出方法的有效性，可为视频理解提供基础能力；（2）针对空间检测高质量目标候选框选择问题，提出了一种物体度一致性特征表示，可以为弱监督目标检测提供高质量的候选框，且可用于解释和沟通目标框和像素级目标表示的鸿沟，在目标检测数据集上的检测结果验证了提出方法的有效性，可以为大规模弱标注视频的数据挖掘提供支撑；（3）针对视觉Transformer应用到小数据下游任务难的问题，设计了预训练提示微调方法，大幅提高在小样本机器学习任务中应用预训练视觉Transformer的效果；（4）针对视觉Transformer移动端难部署难的问题，设计了一种空间和通道增强自注意力的轻量级视觉Transformer架构，为图像视频Transformer模型的端侧部署提供支撑。
从官网获取报告原文信息请点击左下角“阅读原文”！
版权声明：本文所有文字来自国家自然科学基金委员会官方网站（https://www.nsfc.gov.cn/），版权归原作者/机构所有。如有侵权，请留言并提交证据，收到核实后删。
！
以科技赋能产业
以创新引领发展
未来，已来！
