利用基础模型进行零样图 IoT 传感
人工智能
2024-07-30 v1 人机交互
摘要
深度学习模型正在部署到边缘物联网 (IoT) 设备上。然而，这些模型通常在监督条件下运行，无法识别与训练不同的未见类别。为此，零样学习 (ZSL) 旨在借助语义信息对未知类别的数据进行分类。在自然语言处理和视觉理解中，针对 web 规模数据训练的基础模型 (FMs) 显示出惊人的 ZSL 能力。然而，尚未充ften 调查利用 FMs 的通用知识进行基于 mmWave、IMU 和 Wi-Fi 等信号的零样 IoT 传感。在本工作中，我们将 IoT 数据嵌入与 FMs 文本编码器生成的语义嵌入进行对齐，以实现零样 IoT 传感。为利用支配 IoT 传感信号生成的物理原理，来从更有效地提取语义嵌入方面，我们提出使用交叉注意力机制，将在训练数据上自动优化的可学习软提示与编码 IoT 传感任务领域知识的辅助硬提示相结合。为解决 IoT 嵌入偏向已见类别的问题（由于在训练期间缺乏未见类别数据），我们提出使用数据增强来合成未见类别 IoT 数据，用于微调 IoT 特征提取器和嵌入投影器。我们在多个 IoT 传感任务上对我们的方案进行了评估。结果表明，我们的方案在各种基线方法上实现了优异的开放集检测和通用零样学习性能。我们的代码可在 https://github.com/schrodingho/FM_ZSL_IoT 上获取。
引用
@article{arxiv.2407.19893,
title = {Leveraging Foundation Models for Zero-Shot IoT Sensing},
author = {Dinghao Xue and Xiaoran Fan and Tao Chen and Guohao Lan and Qun Song},
journal= {arXiv preprint arXiv:2407.19893},
year = {2024}
}