基于可扩展图频分解的高保真三维手形重建
计算机视觉与模式识别
2023-07-13 v1
摘要
尽管近期单图像手部建模技术取得了令人印象深刻的性能，它们仍缺乏捕捉三维手部网格足够细节的能力。这一缺陷在需要高保真手部建模的应用（例如个性化手部建模）中极大地限制了其应用。为解决这个问题，我们设计了一个频率分割网络，以由粗到细的方式利用不同频带生成三维手部网格。为捕捉高频个性化细节，我们将三维网格变换到频域，并提出一种新颖的频率分解损失来监督各频率分量。通过利用这种由粗到细的方案，对应于较高频域的手部细节得以保留。此外，所提网络具有可扩展性，可在任意分辨率层级停止推理，以适应具有不同计算能力的硬件。为定量评估我们的方法在恢复个性化形状细节方面的性能，我们引入了一种名为平均信噪比（Mean Signal-to-Noise Ratio, MSNR）的新评价指标，用于度量每个网格频率分量的信噪比。大量实验表明，我们的方法能生成细粒度细节以实现高保真三维手部重建，且相比传统指标，我们的评价指标在度量网格细节上更为有效。
引用
@article{arxiv.2307.05541,
title = {High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency Decomposition},
author = {Tianyu Luan and Yuanhao Zhai and Jingjing Meng and Zhong Li and Zhang Chen and Yi Xu and Junsong Yuan},
journal= {arXiv preprint arXiv:2307.05541},
year = {2023}
}
备注
CVPR 2023