D-CAT：用于单模态推理的传感器模态间解耦交叉注意力迁移
机器学习
2025-09-15 v1 人工智能
机器人学
摘要
跨模态迁移学习用于改进多模态分类模型（例如，用于人机协作中的人类活动识别）。然而，现有方法在训练和推理时都需要配对的传感器数据，这限制了在无法经济且技术上使用全套传感器的资源受限环境中的部署。为了解决这个问题，我们提出了解耦交叉注意力迁移 (D-CAT)，这是一个在推理过程中不需要联合传感器模态即可对齐特定模态表示的框架。我们的方法将用于特征提取的 self-attention 模块与一种新颖的 cross-attention 对齐损失相结合，后者在不要求两种模态的分类管道耦合的情况下，强制对齐传感器的特征空间。我们在 in-distribution 和 out-of-distribution 场景下的三个多模态人类活动数据集（IMU、视频和音频）上评估了 D-CAT，并与单模态模型进行了比较。结果表明，在 in-distribution 场景中，从高性能模态（例如，视频到 IMU）的迁移比单模态训练产生高达 10% 的 F1-score 提升。在 out-of-distribution 场景中，只要目标模型没有在训练数据上过拟合，即使是较弱的源模态（例如，IMU 到视频）也能改善目标性能。通过利用跨模态知识实现单传感器推理，D-CAT 减少了感知系统的硬件冗余，同时保持了准确性，这对于成本敏感或自适应部署（例如，传感器可用性可变的家庭辅助机器人）至关重要。代码可在 https://github.com/Schindler-EPFL-Lab/D-CAT 获取。
引用
@article{arxiv.2509.09747,
title = {D-CAT: Decoupled Cross-Attention Transfer between Sensor Modalities for Unimodal Inference},
author = {Leen Daher and Zhaobo Wang and Malcolm Mielle},
journal= {arXiv preprint arXiv:2509.09747},
year = {2025}
}