隐私保护下的卧床姿态监测：融合与重建研究
计算机视觉与模式识别
2024-03-06 v1
摘要
近年来，卧床人体姿态估计因其在广泛医疗健康应用中的相关性而引起了研究人员的兴趣。与通用人体姿态估计问题相比，卧床姿态估计具有若干固有挑战，最显著的是由床上用品引起的频繁且严重的遮挡。在本文中，我们探索了在两种设定下有效使用来自深度、长波红外（LWIR）和压力图等多种非视觉且隐私保护的模态图像进行卧床姿态估计任务。首先，我们探索了不同成像模态信息的有效融合以实现更好的姿态估计。其次，我们提出了一个在可见图像不可用时仍能估计卧床姿态的框架，并展示了融合方法在仅有 LWIR 图像可用场景下的适用性。我们分析并展示了融合多模态特征的效果。为此，我们考虑了四种不同技术：1）加法，2）拼接，3）通过学习的模态权重融合，以及 4）端到端完全可训练方法；结合最先进的姿态估计模型。我们还评估了从数据稀缺的隐私保护模态（即长波长红外）重建数据丰富模态（即可见模态）对卧床人体姿态估计的影响。对于重建，我们使用条件生成对抗网络。我们在框架的不同设计决策上进行了消融研究。这包括选择不同粒度的特征、使用不同的融合技术以及改变模型参数。通过广泛评估，我们证明了我们的方法产生了与最先进水平相当或更好的结果。
引用
@article{arxiv.2202.10704,
title = {Privacy-Preserving In-Bed Pose Monitoring: A Fusion and Reconstruction Study},
author = {Thisun Dayarathna and Thamidu Muthukumarana and Yasiru Rathnayaka and Simon Denman and Chathura de Silva and Akila Pemasiri and David Ahmedt-Aristizabal},
journal= {arXiv preprint arXiv:2202.10704},
year = {2024}
}