基于融合权重正则化与目标学习的鲁棒深度多模态传感器融合
机器学习
2021-04-23 v3 机器学习
摘要
传感器融合在包括医疗健康和自主系统在内的许多领域有广泛应用。尽管深度学习的出现使得高层特征的多模态融合和端到端传感器融合方案成为可能，现有的基于深度学习的传感器融合技术（包括深度门控架构）并非总是具有弹性，导致融合权重不一致的问题。我们提出具有增强鲁棒性的深度多模态传感器融合架构，尤其在存在传感器故障的情况下。我们的门控架构的核心是对附加到主融合模型上的辅助单模态感知网络进行操作的融合权重正则化与融合目标学习。所提出的正则化门控架构在干净和由传感器故障导致的损坏感官输入下，均优于带门控与不带门控的现有深度学习架构。当一种或多种感官模态被损坏时，所展示的改进尤为显著。
引用
@article{arxiv.1901.10610,
title = {Robust Deep Multi-Modal Sensor Fusion using Fusion Weight Regularization and Target Learning},
author = {Myung Seok Shim and Chenye Zhao and Yang Li and Xuchong Zhang and Wenrui Zhang and Peng Li},
journal= {arXiv preprint arXiv:1901.10610},
year = {2021}
}