面向视障与盲人的人体动作语义标注及场景交互
计算机视觉与模式识别
2022-01-14 v1
摘要
本工作的目标是为视障与盲人开发一种触觉设备，使其能理解周围人的动作并与之交互。首先，基于从 RGB-D 序列进行人体动作识别的现有最优方法，我们利用 Kinect 提供的骨架信息，结合解耦统一多尺度图卷积（MS-G3D）模型来识别所执行的动作。我们在真实场景上测试了该模型并发现了一些约束与局限。接着，我们将骨架模态与 MS-G3D 同深度模态与 CNN 相融合，以规避上述局限。第三，将识别出的动作进行语义标注，并映射到可由触觉感知的输出设备。
引用
@article{arxiv.2201.04706,
title = {Semantic Labeling of Human Action For Visually Impaired And Blind People Scene Interaction},
author = {Leyla Benhamida and Slimane Larabi},
journal= {arXiv preprint arXiv:2201.04706},
year = {2022}
}