国家自然科学基金项目

“单视图人体三维重建研究”

结题报告摘录

1. 基本信息

项目名称：单视图人体三维重建研究

项目负责人：朱昊

依托单位：南京大学

项目批准号：62001213

申请代码：F0117

研究期限：2021-01-01 至 2023-12-31

资助经费：24.0（万元）

2. 摘要

经典人体三维重建通过主动式深度图融合技术或多视点三维重建方法实现，无法突破重建精度和效率的固有矛盾；而单视图人体三维重建通过任意单张图片恢复人体三维外形，成为了影视制作、智慧城市、辅助医疗等领域迫切需求的前沿技术。当前主流的单视图人体重建方法普遍基于深度学习框架，面临着重建精度低、泛化能力差问题。

本项目旨在通过设计高效的人体外形表示方式，并建立面向动态人体的自监督式学习框架，研究深度神经网络对三维外形预测的内在规律，解决数据缺乏和模型训练之间的矛盾，为单视图三维重建提供新原理和新技术，并建立大规模、高精度、衣着外貌多样化的三维人体数据库。

在研究基础方面，申请人构建了高精度多视点计算摄像平台，应用于《爵迹》等影视内容的特效制作，发表包括CVPR、IEEE T-CSVT在内的论文9篇，申请专利7项。

本项目研究的单视图人体三维重建算法，涉及三维人体表征、外形预测算法和数据平台构建三个层面。在基于图像的人物三维重建方面，实现了从单张图像中恢复高精度人物化身，并通过伪2D和3D数据对实现了鲁棒且准确的三维人脸重建。同时，结合神经辐射场和多视角图像学习，探索了面部渲染和几何重建和生成的新方法，并还研究了根据自然语言描述生成高保真度三维面部的算法。在神经网络的三维外形表征方面，提出了层次化自适应代码云学习方法，优化了神经三维模型表征，实现了更真实、平滑的渲染效果。通过应用预卷积和遮挡场学习，提高了渲染效率和新视角合成的准确性。同时，探索了有损点云几何压缩的新思路，减小了数据处理规模。在数据集和系统方面，构建了FaceScape大规模人物三维数据集，为面部三维重建研究提供了评估平台。此外，针对硬件应用中的优化问题，设计了基于FPGA的高效L-BFGS算法加速器，提升了面向人体的三维重建的效率，为移动系统上的实现提供了硬件支持。

本项目在三维人体建模和渲染方法上的创新促进了计算机视觉、计算机图形学、人工智能等学科的协同发展与应用。

关键词：三维人体重建；三维人脸重建；三维生成；三维表征;神经辐射场

资料来源：国家自然科学基金委员会官网 （https://www.nsfc.gov.cn/）