缓解人体级偏移：一种面向多人姿态估计的鲁棒域自适应方法
计算机视觉与模式识别
2020-08-14 v1
摘要
人体姿态估计已在有监督学习（需充足标注）方面得到广泛研究。然而在实际应用中，预训练的姿态估计模型通常需要适配到无标签或稀疏标签的新域。这种针对2D姿态估计的域自适应尚未被探索。其主要原因在于，姿态本质上具有典型的拓扑结构，且需要局部关键点的细粒度特征，而现有自适应方法未考虑感兴趣目标的拓扑结构，仅对整幅图像进行粗粒度对齐。为此，我们提出一种新颖的面向多人姿态估计的域自适应方法，以进行人体级拓扑结构对齐与细粒度特征对齐。我们的方法由三个模块组成：交叉注意力特征对齐（CAFA）、域内结构自适应（ISA）与域间人体拓扑对齐（IHTA）模块。CAFA采用双向空间注意力模块（BSAM），关注两人之间细粒度的局部特征关联，自适应地聚合一致特征用于自适应。我们仅在半监督域自适应（SSDA）中使用ISA，以利用对应的关键点语义关系来减小域内偏差。最重要的是，我们提出IHTA来学习更具域不变性的人体拓扑表示，以减小域间差异。我们通过图卷积网络（GCN）建模人体拓扑结构，通过在其上传递消息可考虑高阶关系。这种基于GCN的结构保持对齐有利于被遮挡或极端姿态的推断。在两个流行基准上的大量实验表明，与现有有监督方法相比，我们的方法具有竞争力。
引用
@article{arxiv.2008.05717,
title = {Alleviating Human-level Shift : A Robust Domain Adaptation Method for Multi-person Pose Estimation},
author = {Xixia Xu and Qi Zou and Xue Lin},
journal= {arXiv preprint arXiv:2008.05717},
year = {2020}
}
备注
Accepted By ACM MM'2020