联合建模触觉信号的时空特征用于动作分类

由可穿戴电子设备采集的触觉信号在建模和理解人类行为中至关重要。触觉信号的主要应用之一是动作分类，尤其是在医疗保健和机器人领域。然而，现有的触觉分类方法无法同时捕获触觉信号的空间和时间特征，导致性能次优。在本文中，我们设计了时空感知触觉 Transformer（STAT），以利用连续的触觉信号进行动作分类。我们在模型中提出了空间和时间嵌入以及一个新的时间预训练任务，旨在增强 Transformer 对触觉信号时空特征的建模能力。具体而言，设计的时间预训练任务是区分 tubelet 输入的时间顺序，以显式地建模时间属性。在公共动作分类数据集上的实验结果表明，我们的模型在所有指标上均优于 SOTA 方法。