TENT：连接语言模型与物联网传感器以实现零样本活动识别
计算机视觉与模式识别
2023-11-15 v1
摘要
语言模型近期的成果展示了其在桥接视觉信息与语义语言理解方面的非凡能力。这引出了一个新颖的问题：语言模型能否将文本语义与物联网传感信号连接起来以执行识别任务，例如人体活动识别（HAR）？如果可以，便可构建一个具有类人认知的智能 HAR 系统，能够适应新环境与未见过类别。本文通过一种创新方法探索其可行性，即物联网传感器-语言对齐预训练（TENT），该方法将文本嵌入与物联网传感器信号（包括摄像头视频、LiDAR 和毫米波）联合对齐。通过物联网-语言对比学习，我们推导出一个统一的语义特征空间，将多模态特征与语言嵌入对齐，从而使物联网数据对应于描述该数据的特定词语。为增强文本类别与其物联网数据之间的联系，我们提出了补充描述与可学习提示，将更多语义信息引入联合特征空间。TENT 不仅能识别已见动作，还能通过该特征空间中最接近的文本词“猜测”未见动作。我们证明 TENT 在使用不同模态的零样本 HAR 任务上达到了最先进性能，比最佳视觉-语言模型提升超过 12%。
引用
@article{arxiv.2311.08245,
title = {TENT: Connect Language Models with IoT Sensors for Zero-Shot Activity Recognition},
author = {Yunjiao Zhou and Jianfei Yang and Han Zou and Lihua Xie},
journal= {arXiv preprint arXiv:2311.08245},
year = {2023}
}
备注
Preprint manuscript in submission