基于双雷达和双视图CNN模型与mmPose的骨架检测
图像与视频处理
2024-12-02 v1 计算机视觉与模式识别
摘要
骨架检测可应用于各种情境，尤其在实时识别和跟踪老年人的运动方面尤为关键。虽然传统图像处理方法存在，但越来越多的人倾向于使用来自mmWave雷达的点云数据，这从隐私保护的角度提供了一种非侵入性的办法，以提升老年人的安全和照护。处理点云数据需要解决三个关键问题：首先，点云的本质特征——旋转不变性、平移不变性和局部性——通过融合PointNet和mmPose来管理。PointNet确保旋转和平移不变性，而mmPose处理局部性。其次，来自雷达的每帧点数有限，需要两个雷达的数据集成来增强骨架检测。最后，输入点云数据到学习模型中需要利用每个雷达点的坐标、速度和信噪比（SNR）等特征来缓解稀疏性问题并降低计算负载。本研究提出了三个Dual ViewCNN模型，结合PointNet和mmPose，采用两个mmWave雷达，根据平均绝对误差（MAE）进行性能比较。虽然所提出的模型在随机行走方面表现不佳，但在手臂摆动案例中表现卓越。
引用
@article{arxiv.2411.19251,
title = {Skeleton Detection Using Dual Radars with Integration of Dual-View CNN Models and mmPose},
author = {Masaharu Kodama and Runhe Huang},
journal= {arXiv preprint arXiv:2411.19251},
year = {2024}
}
备注
This paper was presented at the 16th International Conference on Advanced Applied Informatics (IIAI AAI 2024)