用于多维传感器数据处理的基于 Transformer 的自监督学习方法
机器学习
2025-05-29 v1 人工智能
摘要
我们开发了一种以传感器信号为输入的用于人类活动识别的深度学习算法。在本研究中，我们构建了一个基于 Transformer 架构的预训练语言模型，该架构在自然语言处理中被广泛使用。通过利用该预训练模型，我们旨在提高人类活动识别这一下游任务的性能。虽然可以使用原始 Transformer 来处理此任务，但我们提出了一种增强的 n 维数值处理 Transformer，它包含三个关键特征：通过线性层嵌入 n 维数值数据、基于分箱的预处理以及输出层中的线性变换。我们在五个不同的数据集上评估了所提出模型的有效性。与原始 Transformer 相比，我们的模型在准确率上提升了 10%-15%。
引用
@article{arxiv.2505.21918,
title = {Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing},
author = {Haruki Kai and Tsuyoshi Okita},
journal= {arXiv preprint arXiv:2505.21918},
year = {2025}
}
备注
25 pages, 4 figures