深入 Transformer 用于增量语义分割
计算机视觉与模式识别
2022-11-21 v1
摘要
增量语义分割（ISS）是一项新兴任务，通过增量添加新类来更新旧模型。目前，基于卷积神经网络的方法在 ISS 中占主导地位。然而，研究表明此类方法难以在学习新任务的同时在旧任务上保持良好性能（灾难性遗忘）。相比之下，基于 Transformer 的方法因能够建模长程与短程任务，在抑制灾难性遗忘方面具有天然优势。本工作中，我们探究了基于 Transformer 的架构更适用于 ISS 的原因，并相应提出 TISS，一种基于 Transformer 的增量语义分割方法。此外，为更好地缓解灾难性遗忘同时保持 ISS 上的可迁移性，我们引入两种块级对比损失分别用于模仿相似特征与增强特征多样性，可进一步提升 TISS 性能。在 Pascal-VOC 2012 与 ADE20K 数据集的广泛实验设置下，我们的方法显著优于最先进的增量语义分割方法。
关键词
引用
@article{arxiv.2211.10253,
title = {Delving into Transformer for Incremental Semantic Segmentation},
author = {Zekai Xu and Mingyi Zhang and Jiayue Hou and Xing Gong and Chuan Wen and Chengjie Wang and Junge Zhang},
journal= {arXiv preprint arXiv:2211.10253},
year = {2022}
}