WirelessSenseLLM：通过桥接无线信号与人类语言实现零样本人类活动理解
网络与互联网体系结构
2026-05-15 v1
摘要
人们对使无线感知系统能够从未分段的无线信号中解释人体运动越来越感兴趣；然而，现有的基于 CSI 的应用严重依赖准确的信号分割和预定义的动作标签，限制了它们在零样本场景中的适用性。我们提出了 WirelessSenseLLM，一个以语言为驱动的框架，利用大语言模型（LLM）从未分段的 Wi-Fi 信道状态信息（CSI）中实现零样本人体运动理解。为弥合时间序列 CSI 与离散语言表示之间的模态鸿沟，我们引入了 CSI 到语言适配器和跨模态投影机制，将 CSI 特征映射至语言对齐的语义空间。该设计支持生成关于连续和重叠人体运动的细粒度自然语言描述，无需分割训练数据即可支持下游推理。我们解决了两个核心技术挑战：CSI 特征与语言嵌入之间的模态不匹配，以及未分段 CSI 流中的重叠动作。大量实验表明，该方法在零样本动作理解（92% 准确率和 91% F1 分数）、基于语言的推理质量（事实提升 30%，推理提升 15%）以及多人运动解释（较先前方法平均提升 12.33%）方面均表现出色。这些结果突显了 WirelessSenseLLM 在从 CSI 信号进行稳健且可解释的人体运动理解方面的有效性。
引用
@article{arxiv.2605.14070,
title = {WirelessSenseLLM: Zero-Shot Human Activity Understanding by Bridging Wireless Signals and Human Language},
author = {Mahmuda Keya and Sneh Pillai and Jiawei Yuan and Kai Zeng and Long Jiao},
journal= {arXiv preprint arXiv:2605.14070},
year = {2026}
}
备注
Accepted at IEEE SECON 2026. 9 pages, 11 figures