FOF：面向单目实时人体重建的傅里叶占据场学习
计算机视觉与模式识别
2023-09-06 v2
摘要
深度学习的出现使得单目人体重建取得了显著进展。然而，现有的表示方式，如参数化模型、体素网格、网格以及隐式神经表示，难以同时实现高质量结果与实时速度。本文提出傅里叶占据场（FOF），一种新颖、强大、高效且灵活的3D表示，用于单目实时且精确的人体重建。FOF以垂直于视方向的2D场来表示一个3D物体，其中在每个2D位置上，物体沿视方向的占据场由傅里叶级数的前几项紧凑表示，从而保留了2D域中的拓扑与邻域关系。FOF可存储为多通道图像，兼容2D卷积神经网络，并能弥合3D几何与2D图像之间的鸿沟。FOF非常灵活且可扩展，例如，参数化模型可作为先验轻松集成到FOF中以生成更鲁棒的结果。基于FOF，我们设计了首个30+FPS高保真实时单目人体重建框架。我们在公开数据集与真实采集数据上展示了FOF的潜力。代码将发布以供研究使用。
引用
@article{arxiv.2206.02194,
title = {FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction},
author = {Qiao Feng and Yebin Liu and Yu-Kun Lai and Jingyu Yang and Kun Li},
journal= {arXiv preprint arXiv:2206.02194},
year = {2023}
}