SelaFD：面向雷达人体活动识别的视觉Transformer微调无缝适配
计算机视觉与模式识别
2025-03-05 v2 机器学习
摘要
由于人口老龄化，跌倒检测等人体活动识别（HAR）变得日益重要，需要有效的监测系统来防止与跌倒相关的严重伤害和死亡。本研究专注于使用基于雷达的时间-多普勒特征，针对 HAR 微调视觉 Transformer（ViT）模型。与传统图像数据集不同，这些信号因其非视觉特性以及各种活动之间的高度相似性而面临独特挑战。直接使用所有参数微调 ViT 在此应用中效果不佳。为应对这一挑战，我们提出了一种新方法，在权重空间采用低秩适应（LoRA）微调，以促进从预训练 ViT 模型的知识迁移。此外，为了提取细粒度特征，我们通过在特征空间集成串行-并行适配器来增强特征表示。我们针对基于雷达的时间-多普勒特征量身定制的创新联合微调方法，显著提高了 HAR 准确率，超越了该领域现有的最先进方法。我们的代码已发布于 https://github.com/wangyijunlyy/SelaFD。
引用
@article{arxiv.2502.04740,
title = {SelaFD:Seamless Adaptation of Vision Transformer Fine-tuning for Radar-based Human Activity Recognition},
author = {Yijun Wang and Yong Wang and Chendong xu and Shuai Yao and Qisong Wu},
journal= {arXiv preprint arXiv:2502.04740},
year = {2025}
}