SATS：用于持续语义分割的自注意力迁移
计算机视觉与模式识别
2023-02-14 v3
摘要
持续学习分割越来越多类型的图像区域是许多智能系统期望具备的能力。然而，此类持续语义分割与持续分类学习一样遭受灾难性遗忘问题。尽管最初用于持续分类的多种知识蒸馏策略已很好地适配到持续语义分割，但它们仅考虑基于深度全卷积网络一层或多层输出迁移旧知识。与现有方案不同，本研究提出迁移一种与知识相关的新类型信息，即每幅图像内元素（如像素或小局部区域）之间的关系，其可捕获类内与类间知识。该关系信息可从 Transformer 风格分割模型的自注意力图中有效获取。考虑到每幅图像中属于同一类的像素常共享相似视觉属性，应用类特定区域池化以提供更高效的关系信息用于知识迁移。在多个公开基准上的大量评估表明，所提自注意力迁移方法能进一步有效缓解灾难性遗忘问题，且其灵活地与一种或多种广泛采用的策略组合可显著优于当前最优方案。
引用
@article{arxiv.2203.07667,
title = {SATS: Self-Attention Transfer for Continual Semantic Segmentation},
author = {Yiqiao Qiu and Yixing Shen and Zhuohao Sun and Yanchong Zheng and Xiaobin Chang and Weishi Zheng and Ruixuan Wang},
journal= {arXiv preprint arXiv:2203.07667},
year = {2023}
}
备注
Published in Pattern Recognition Journal