用于学习人体扫描与运动潜在空间表示的自监督网络
计算机视觉与模式识别
2025-09-10 v2
摘要
本文提出了自监督神经网络模型，用于解决三维人体分析与处理领域的若干基本问题。首先，我们提出了 VariShaPE（Varifold Shape Parameter Estimator），一种用于检索身体形状与姿态潜在空间表示的新型架构。该网络提供了一种快速且鲁棒的方法，将任意未配准的网格嵌入到潜在空间中。其次，我们通过 MoGeN（Motion Geometry Network）补充了潜在码的估计，该框架学习潜在空间本身的几何结构。这是通过将身体姿态参数空间提升到更高维的欧几里得空间来实现的，在其中，来自 4D 数据训练集的身体运动短序列可以用简单的线性插值来近似。利用 SMPL 潜在空间表示，我们展示了这些网络模型组合训练后可用于执行多种任务，且计算成本极低。这些操作包括运动插值、外推与迁移，以及随机形状与姿态生成。
引用
@article{arxiv.2411.03475,
title = {Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions},
author = {Emmanuel Hartman and Nicolas Charon and Martin Bauer},
journal= {arXiv preprint arXiv:2411.03475},
year = {2025}
}
备注
15y pages, 11 figures, 4 tables