FourierHandFlow：基于傅里叶查询流的神经 4D 手部表示
计算机视觉与模式识别
2023-07-18 v1
摘要
近期的 4D 形状表示通过（1）学习查询流而不利用形状与关节先验，或（2）对每个时间值分别解码形状占据场，来建模隐式形状的连续时间演化。因此，它们未能有效捕捉关节形状间的隐式对应，或正则化抖动的时序形变。在本工作中，我们提出 FourierHandFlow，这是一种结合 3D 占据场与以傅里叶级数表示的关节感知查询流的人手时空连续表示。给定输入 RGB 序列，我们旨在为每个查询流学习固定数量的傅里叶系数，以保证平滑连续的时序形状动态。为有效建模关节手的时空形变，我们的 4D 表示基于两类傅里叶查询流构建：（1）姿态流，通过隐式线性混合蒙皮建模受手部关节变化影响的查询动态；（2）形状流，建模逐查询位移流。在实验中，我们的方法在基于视频的 4D 重建上取得了最先进的结果，同时比现有 3D/4D 隐式形状表示计算更高效。我们额外展示了利用所学隐式形状对应进行运动内插与外推以及纹理迁移的结果。据我们所知，FourierHandFlow 是从 RGB 视频中学得的首个神经 4D 连续手部表示。代码将公开可用。
引用
@article{arxiv.2307.08100,
title = {FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow},
author = {Jihyun Lee and Junbong Jang and Donghwan Kim and Minhyuk Sung and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:2307.08100},
year = {2023}
}
备注
16 pages, 6 figures, under review