基于视频的姿势调制化身重建
计算机视觉与模式识别
2023-10-02 v3 人工智能
图形学
摘要
如今可利用由底层骨架驱动的神经辐射场（NeRF），从稀疏一组相机重建动态人体运动与形状。然而，建模布料与皮肤相对于骨架姿势的形变仍是一项挑战。与现有的隐式学习或依赖代理表面的化身模型不同，我们的方法受如下观察启发：不同姿势需要独特的频率分配。忽略此区别会在平滑区域产生噪声伪影，或在尖锐区域模糊细粒度纹理与形状细节。我们开发了一个在频域中自适应且显式的双分支神经网络。第一分支为图神经网络，以骨架姿势为输入，局部建模身体部位间的相关性。第二分支将这些相关性特征组合为一组全局频率，随后调制特征编码。我们的实验表明，在保留细节与泛化能力方面，我们的网络优于 SOTA 方法。
引用
@article{arxiv.2308.11951,
title = {Pose Modulated Avatars from Video},
author = {Chunjin Song and Bastian Wandt and Helge Rhodin},
journal= {arXiv preprint arXiv:2308.11951},
year = {2023}
}