基于无关相关映射网络的模态递增学习用于图像基语义分割
计算机视觉与模式识别
2024-11-27 v1
摘要
在自动驾驶领域，随着深度学习技术被用于摄像头、深度传感器或红外传感器等多种传感器，环境感知能力得到了显著提升。传感器堆的多样性不仅提高了安全性，也增强了对恶劣天气和光照条件下的鲁棒性。然而，来自不同传感器获取的数据差异性带来了挑战。在持续学习(CL)的语境下，对于相当大的领域迁移（例如不同传感器模态）进行递增学习尤其具有挑战性。这加剧了灾难性遗忘问题。为此，我们提出了模态递增学习的概念，方法是通过与现有递增学习范式进行对比来检验其必要性。我们提议使用修改后的相关映射网络(RMN)来递增学习新的模态，同时保持对以前学习的模态的性能，其中相关映射是无关的。实验结果表明，这种方法通过防止共享连接，有助于在严格的持续学习框架内缓解遗忘问题。
引用
@article{arxiv.2411.17610,
title = {Modality-Incremental Learning with Disjoint Relevance Mapping Networks for Image-based Semantic Segmentation},
author = {Niharika Hegde and Shishir Muralidhara and René Schuster and Didier Stricker},
journal= {arXiv preprint arXiv:2411.17610},
year = {2024}
}
备注
Accepted at WACV 2025