ESCAPE：面向越域(OOO)3D人体姿态估计的能量基选择性自适应纠正
计算机视觉与模式识别
2024-07-23 v1 人工智能
摘要
尽管近期在人体姿态估计( HPE )方面取得了进展，但对越域( OOD )数据的泛化能力仍然是一个难以解决的问题。虽然之前的工作提出了测试时适应( TTA )通过在推理阶段调整网络参数来弥合训练-测试领域之间的差距，但缺乏 ground-truth 标注使得这一问题变得极其困难，而现有方法通常会使推理时间增加一个或多个数量级。我们观察到：1) 并非所有测试时样本都是 OOD 的，2) HPE 在遥远关键点(手腕、踝部)上的误差显著更大。为此，我们提出了 ESCAPE：一个轻量级的纠正和选择性适应框架，该框架对大多数数据应用快速的前向传播纠正，而为 OOD 数据保留高成本的 TTA。引入自由能函数来分离 OOD 样本与输入数据，并训练一个纠正网络来估计预训练 backbone HPE 在遥远关键点上的预测误差。对于 OOD 样本，我们提出了一种新颖的自一致性适应损失，通过第二个“逆向”网络来利用遥远关键点与近似关键点(肩部、髋部)之间的约束关系来更新纠正网络。ESCAPE 在五个流行 HPE 模型上在不可见数据上的遥远 MPJPE 提升了最高 7%，在两个流行 HPE 基准测试中实现了最先进的结果，并且显著快于现有的适应方法。
引用
@article{arxiv.2407.14605,
title = {ESCAPE: Energy-based Selective Adaptive Correction for Out-of-distribution 3D Human Pose Estimation},
author = {Luke Bidulka and Mohsen Gholami and Jiannan Zheng and Martin J. McKeown and Z. Jane Wang},
journal= {arXiv preprint arXiv:2407.14605},
year = {2024}
}
备注
32 pages, 8 figures