面向自适应 3D 人体姿态恢复的形状轮廓拓扑对齐
计算机视觉与模式识别
2022-04-05 v1 人工智能
摘要
以关节为中心的 2D/3D 姿态监督构成了大多数现有 3D 人体姿态估计技术的核心训练目标。除合成源环境外,在部署时为每个真实目标域获取此类丰富监督极为不便。然而,我们意识到标准前景轮廓估计技术(基于静态相机馈送)不受域偏移影响。受此启发,我们提出一种新颖的目标自适应框架,仅依赖轮廓监督来调整源训练的基于模型的回归器。但在无任何辅助线索(多视图、深度或 2D 姿态)的情况下,孤立的轮廓损失无法提供可靠的特定姿态梯度,需与以拓扑为中心的损失协同使用。为此,我们开发了一系列卷积友好的空间变换,以从原始轮廓中解耦出拓扑骨架表示。该设计铺平了通过距离场计算设计受 Chamfer 启发的空间拓扑对齐损失的道路,同时有效避免任何阻碍梯度的空间到点集映射。实验结果表明,在将源训练模型自适应至多样无标签目标域(如 a) 野外数据集,b) 低分辨率图像域,以及 c) 对抗扰动图像域(经由 UAP))时,我们优于先前方法。
引用
@article{arxiv.2204.01276,
title = {Aligning Silhouette Topology for Self-Adaptive 3D Human Pose Recovery},
author = {Mugalodi Rakesh and Jogendra Nath Kundu and Varun Jampani and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2204.01276},
year = {2022}
}
备注
NeurIPS 2021