毯子覆盖下的多模态卧床姿态与形状估计
计算机视觉与模式识别
2020-12-15 v1 多媒体
摘要
人类在床上度过大量时间——平均约为寿命的三分之一。此外，静止状态下的人体在许多医疗健康应用中至关重要。通常，人体在休息时会被毯子覆盖，为此我们提出一种多模态方法以揭示被覆盖对象，使其静止身体可在无上方毯子遮挡的情况下被观测。我们提出一种金字塔方案，以能有效融合不同模态的方式，最大程度利用多模态传感器所捕获的知识。具体而言，首先融合最具信息量的两种模态（即深度与红外图像）以生成良好的初始姿态与形状估计。随后逐一进一步融合压力图与 RGB 图像，分别通过为被覆盖部分提供遮挡不变信息、为未覆盖部分提供精确形状信息来精炼结果。然而，即便拥有多模态数据，由于身体的极度遮挡，检测静止人体仍极具挑战。为进一步削弱毯子遮挡的负面影响，我们采用基于注意力的重建模块生成未覆盖模态，并通过循环方式进一步融合以更新当前估计。大量实验验证了所提模型相对于其他模型的优越性。
引用
@article{arxiv.2012.06735,
title = {Multimodal In-bed Pose and Shape Estimation under the Blankets},
author = {Yu Yin and Joseph P. Robinson and Yun Fu},
journal= {arXiv preprint arXiv:2012.06735},
year = {2020}
}