同步采集的多模态卧姿数据集：面向恶劣视觉条件下的床上人体姿态监测
计算机视觉与模式识别
2020-08-21 v1
摘要
计算机视觉（CV）在从图像中解析语义信息方面取得了巨大成功，但 CV 算法在具有恶劣视觉条件以及受数据/标签对限制的任务上可能表现脆弱。其中一项任务是床上人体姿态估计，其在许多医疗健康应用中具有重要价值。自然场景下的床上姿态监测可能涉及完全黑暗或完全遮挡。此外，缺乏公开可用的床上姿态数据集阻碍了众多成功的姿态估计算法在该任务上的使用。本文介绍了我们同步采集的多模态卧姿（SLP）数据集，包含来自 109 名参与者的床上姿态图像，通过包括 RGB、长波红外、深度和压力图在内的多种成像模态采集。我们还提出了一种在关灯和被床单/毯子完全覆盖等极端条件下生成真实姿态标签的物理超参数调优策略。SLP 的设计与主流人体姿态数据集兼容，因此，最先进的 2D 姿态估计模型可使用 SLP 数据有效训练，在单一模态下 [email protected] 指标上可达到高达 95% 的良好性能。通过多模态协同，姿态估计性能可进一步提升。
引用
@article{arxiv.2008.08735,
title = {Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions},
author = {Shuangjun Liu and Xiaofei Huang and Nihang Fu and Cheng Li and Zhongnan Su and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:2008.08735},
year = {2020}
}