基于位置与朝向感知的单样本学习用于信号数据医疗动作识别
计算机视觉与模式识别
2023-09-28 v1
摘要
本文提出一种基于位置与朝向感知的单样本学习框架，用于从信号数据中识别医疗动作。该框架包含两个阶段，每阶段均包括信号级图像生成(SIG)、交叉注意力(CsA)、动态时间规整(DTW)模块，以及所提出的隐私保护位置与朝向特征之间的信息融合。所提SIG方法旨在将原始骨架数据转换为隐私保护特征用于训练。CsA模块用于引导网络减少医疗动作识别偏差，并更聚焦于每个特定动作的重要人体部位，以解决相似的医疗动作相关问题。此外，DTW模块用于最小化实例间的时间失配并进一步提升模型性能。进一步地，所提隐私保护朝向级特征用于在两个阶段中辅助位置级特征，以增强医疗动作识别性能。在广泛使用的知名数据集NTU RGB+D 60、NTU RGB+D 120和PKU-MMD上的大量实验结果均证明了所提方法的有效性，其在常规数据集划分下分别以2.7%、6.2%和4.1%的优势超越其他SOTA方法。
引用
@article{arxiv.2309.15635,
title = {Position and Orientation-Aware One-Shot Learning for Medical Action Recognition from Signal Data},
author = {Leiyu Xie and Yuxing Yang and Zeyu Fu and Syed Mohsen Naqvi},
journal= {arXiv preprint arXiv:2309.15635},
year = {2023}
}