Deakin射频感知:基于相关知识蒸馏的无线电人体姿态监测实验
计算机视觉与模式识别
2023-10-11 v3 信号处理
摘要
本工作中,我们提出并开发了一个简单的实验测试平台,用于研究将射频(RF)感知技术与相关知识蒸馏(CKD)理论相结合以设计轻量、近实时且精确的人体姿态监测系统的可行性这一新颖思路。所提出的CKD框架将姿态知识从鲁棒的“教师”模型迁移并融合至参数化的“学生”模型,这有望成为获取准确且轻量姿态估计的技术。为确保其有效性,我们在基于软件定义无线电(SDR)的集成实验设置中实现了用于蒸馏logits的CKD,并研究了RF-视觉信号相关性。我们的CKD-RF感知技术具有两种模式——由相机供数的教师分类网络(如图像、视频)与由SDR供数的学生分类网络(如RF信号)。具体而言,我们的CKD模型通过蒸馏与融合知识库来训练双多分支教师与学生网络。所得CKD模型随后用于识别多模态相关性并反向教导学生分支。CKD训练并非简单聚合两者的学习,而是包含视觉图像与RF信号两个域间的多重并行变换。一旦训练完成,我们的CKD模型可高效保护隐私,并利用来自两个不同神经网络的多模态相关logits,仅使用RF信号(无需视觉信号/视频帧)来估计姿态。
引用
@article{arxiv.2305.14829,
title = {Deakin RF-Sensing: Experiments on Correlated Knowledge Distillation for Monitoring Human Postures with Radios},
author = {Shiva Raj Pokhrel and Jonathan Kua and Deol Satish and Philip Williams and Arkady Zaslavsky and Seng W. Loke and Jinho Choi},
journal= {arXiv preprint arXiv:2305.14829},
year = {2023}
}