FOF-X：从单张图像实现实时详细人体重建
计算机视觉与模式识别
2026-01-19 v4
摘要
我们提出 FOF-X 用于从单张图像实现人体几何的实时重建。在实时速度与高质量结果之间保持平衡是持续面临的挑战，主要由于现有3D表示方法计算需求高。为此，我们提出傅里叶占据场(FOF)，一种通过学习傅里叶级数实现的高效3D表示方法。FOF的核心在于将3D占据场分解为2D向量场，既保留了3D域内的拓扑和空间关系，又便于与2D卷积神经网络兼容。这种表示方法弥合了3D和2D领域之间的鸿沟，使人类参数模型可作为先验条件集成进来，增强了重建的鲁棒性。基于FOF，我们设计了新的重建框架FOF-X，以避免纹理和光照引起的性能下降。这使我们的实时重建系统能够更好地处理训练图像与真实图像之间的领域差距。此外，在FOF-X中，我们通过拉普拉斯约束和基于自动机的连续点匹配器来增强FOF与网格表示之间的相互转换算法，提高了质量和鲁棒性。我们在不同数据集和真实捕获的数据上验证了我们方法的优势，其中FOF-X实现了新的状态突破结果。代码已已在 https://cic.tju.edu.cn/faculty/likun/projects/FOFX/index.html 公开供研究使用。
引用
@article{arxiv.2412.05961,
title = {FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image},
author = {Qiao Feng and Yuanwang Yang and Yebin Liu and Yu-Kun Lai and Jingyu Yang and Kun Li},
journal= {arXiv preprint arXiv:2412.05961},
year = {2026}
}
备注
Extended journal version of our previous conference paper: FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction (arXiv:2206.02194)