通过语言信息预训练学习可迁移的传感器模型
人工智能
2026-03-13 v1 机器学习
摘要
现代传感系统生成大量未标记的多变量时间序列数据。这种未标记数据的丰富性使得自监督学习成为学习可迁移表示的自然方法。然而，大多数现有方法针对重建或预测目标进行了优化，往往无法捕获下游分类和推理任务所需的语义结构。虽然最近的传感器-语言对齐方法通过字幕生成和零样本迁移改善了语义泛化能力，但它们局限于固定的传感器配置，例如预定义的通道集、信号长度或时间分辨率，这阻碍了跨领域的适用性。为了解决这些不足，我们引入了\textbf{SLIP}（\textbf{传感器语言信息预训练}），一个用于学习跨不同传感器设置泛化的语言对齐表示的开源框架。SLIP将对比对齐与传感器条件字幕生成相结合，促进了判别性理解和生成性推理。通过利用交叉注意力机制重新利用预训练的仅解码器语言模型，并引入一个优雅、灵活的补丁嵌入器，SLIP在推理时无需额外训练即可支持不同的时间分辨率和可变长度输入。在11个数据集上，SLIP在零样本迁移、信号字幕生成和问答任务中展现出优越的性能。它达到了77.14%的平均线性探测准确率，相比强基线有5.93%的相对提升，并在基于传感器的问答中达到了64.83%的准确率。
引用
@article{arxiv.2603.11950,
title = {Learning Transferable Sensor Models via Language-Informed Pretraining},
author = {Yuliang Chen and Arvind Pillai and Yu Yvonne Wu and Tess Z. Griffin and Lisa Marsch and Michael V. Heinz and Nicholas C. Jacobson and Andrew Campbell},
journal= {arXiv preprint arXiv:2603.11950},
year = {2026}
}