ALIFE：用于增量语义分割的自适应logit正则化与特征重放
计算机视觉与模式识别
2022-10-14 v1
摘要
我们解决增量语义分割(ISS)问题，即持续识别新颖对象/物质类别而不遗忘已学习的先前类别。灾难性遗忘问题在ISS中尤为严重，因为像素级真值标签在训练时仅对新颖类别可用。为解决该问题，基于正则化的方法利用概率校准技术从非标签像素中学习语义信息。尽管此类技术有效，仍缺乏对其理论理解。基于重放的方法提议记忆少量先前类别的图像，以最先进性能为代价带来巨大内存占用。本文提出一种新颖ISS方法ALIFE，在准确率与效率间提供更好折中。为此，我们首先对校准技术进行深入分析以更好理解其对ISS的影响。基于此，我们引入自适应logit正则化器(ALI)，使模型更好学习新类别同时保留先前知识。我们还提出特征重放方案，记忆特征而非直接记忆图像，以显著降低内存需求。由于特征提取器持续变化，记忆特征也应在每增量阶段更新。为此，我们引入类别特定旋转矩阵分别更新每类特征。我们在标准ISS基准上通过大量实验证明方法有效性，并展示我们的方法在准确率与效率上取得更好权衡。
引用
@article{arxiv.2210.06816,
title = {ALIFE: Adaptive Logit Regularizer and Feature Replay for Incremental Semantic Segmentation},
author = {Youngmin Oh and Donghyeon Baek and Bumsub Ham},
journal= {arXiv preprint arXiv:2210.06816},
year = {2022}
}
备注
Accepted to NeurIPS 2022