用于 3D 卧床人体姿态估计的解剖学引导域适应
计算机视觉与模式识别
2023-07-21 v2
摘要
3D 人体姿态估计是临床监护系统的关键组成部分。然而，深度姿态估计模型的临床适用性受其域偏移下泛化能力差以及对充足标注训练数据需求的限制。作为补救，我们提出一种新颖的域适应方法，将模型从有标注的源域适应到偏移的无标注目标域。我们的方法包含两种基于人体解剖学先验知识的互补适应策略。首先，我们通过将预测约束到解剖学上合理姿态的空间来引导目标域中的学习过程。为此，我们将先验知识嵌入到解剖学损失函数中，该函数惩罚不对称肢体长度、不合理骨长以及不合理关节角度。其次，我们提出根据伪标签的解剖学合理性进行筛选，并将其概念纳入 Mean Teacher 范式用于自训练。我们将两种策略统一到一个基于点云的框架中，适用于无监督与无源域适应。评估在两种适应场景下针对卧床姿态估计进行，使用了公开 SLP 数据集与新创建的数据集。我们的方法持续优于多种最先进的域适应方法，超越基线模型 31%/66%，并将域差距缩小 65%/82%。源代码见 https://github.com/multimodallearning/da-3dhpe-anatomy。
引用
@article{arxiv.2211.12193,
title = {Anatomy-guided domain adaptation for 3D in-bed human pose estimation},
author = {Alexander Bigalke and Lasse Hansen and Jasper Diesel and Carlotta Hennigs and Philipp Rostalski and Mattias P. Heinrich},
journal= {arXiv preprint arXiv:2211.12193},
year = {2023}
}
备注
accepted at Medical Image Analysis