基于合成数据的无监督域自适应分层婴儿姿态识别学习
计算机视觉与模式识别
2022-05-05 v1
摘要
Alberta婴儿运动量表(AIMS)是一种著名的评估方案，通过记录婴儿达到的特定姿态数量来评估其粗大运动发育。借助基于图像的姿态识别模型，可缩短并自动化AIMS评估流程，为潜在发育障碍提供早期诊断或指标。由于公开的婴儿相关数据集有限，许多工作采用基于SMIL的方法生成合成婴儿图像用于训练。然而，真实与合成训练样本之间的域差异常导致推理时性能下降。本文提出一种基于CNN的模型，以任意婴儿图像为输入，预测粗粒度与细粒度姿态标签。该模型由图像分支与姿态分支组成：图像分支在无监督域自适应辅助下生成粗粒度logits，姿态分支利用带SMPLify优化的HRNet生成3D关键点。随后两分支输出送入分层姿态识别模块以估计细粒度姿态标签。我们还收集并标注了一个新的AIMS数据集，包含750张真实与4000张合成婴儿图像及AIMS姿态标签。实验结果表明，所提方法能显著对齐合成与真实世界数据集的分布，从而在细粒度婴儿姿态识别上取得准确性能。
引用
@article{arxiv.2205.01892,
title = {Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose Recognition with Synthetic Data},
author = {Cheng-Yen Yang and Zhongyu Jiang and Shih-Yu Gu and Jenq-Neng Hwang and Jang-Hee Yoo},
journal= {arXiv preprint arXiv:2205.01892},
year = {2022}
}
备注
Accepted as a conference paper at ICME 2022