CAT-NeRF：用于动态人体建模的常性感知 Tx$^2$Former
计算机视觉与模式识别
2023-04-18 v1
摘要
本文解决视频中具时间外观常性的人体渲染问题。使用体积神经渲染方法（如 NeRF）重建动态人体形状，需要找到规范空间与观测空间中点的对应，这要求理解人体形状与运动。一些方法使用刚体变换（如 SE(3)），无法精确建模每帧的独特运动与肌肉运动；另一些方法用可训练网络（如神经混合权重场或平移向量场）为每帧生成变换，但未考虑一般身体形状的外观常性。本文提出 CAT-NeRF，利用 TxFormer（一种结合两层 Transformer 的新颖方式）实现外观常性的自感知，以分离外观常性与独特性。外观常性建模视频中的总体形状，独特性建模每帧的独特模式。我们进一步引入一种新颖的协方差损失，限制每对外观独特性之间的相关性，以确保帧独特模式在外观独特性中被最大化捕获。我们在 H36M 与 ZJU-MoCap 上评估了方法，展示了最先进的性能。
引用
@article{arxiv.2304.07915,
title = {CAT-NeRF: Constancy-Aware Tx$^2$Former for Dynamic Body Modeling},
author = {Haidong Zhu and Zhaoheng Zheng and Wanrong Zheng and Ram Nevatia},
journal= {arXiv preprint arXiv:2304.07915},
year = {2023}
}