基于多模态数据的被褥下婴儿姿态估计
计算机视觉与模式识别
2023-02-17 v2
摘要
婴儿睡眠期间的姿态监测在医疗与家庭场景中均有多种应用。在医疗场景中，姿态检测可用于非接触式监测系统的感兴趣区域检测与运动检测。在家庭场景中，姿态检测可用于检测睡姿，而睡姿已被证明对多种健康因素有显著影响。然而，由于被褥遮挡严重及光照不足，睡眠期间的姿态监测具有挑战性。为此，我们提出一个新数据集——同步采集的多模态婴儿卧姿（SMaL）数据集，用于被褥下婴儿姿态估计。我们采集了婴儿人体模型在不同被褥条件下多种姿态的深度图与压力图像。我们通过训练最先进的姿态估计方法并利用现有的多模态成人姿态数据集进行迁移学习，成功推断出被褥下的全身姿态。我们展示了一种面向 transformer 基模型的层次化预训练策略，可显著提升在我们数据集上的性能。我们的最佳模型能在 86% 的时间内以 25mm 内误差检测被褥下的关节，总体平均误差为 16.9mm。数据、代码与模型已公开于 https://github.com/DanielKyr/SMaL
引用
@article{arxiv.2210.00662,
title = {Under the Cover Infant Pose Estimation using Multimodal Data},
author = {Daniel G. Kyrollos and Anthony Fuller and Kim Greenwood and JoAnn Harrold and James R. Green},
journal= {arXiv preprint arXiv:2210.00662},
year = {2023}
}