网络架构对持续语义分割的影响

持续语义分割领域的研究主要致力于探索新颖的学习算法以克服神经网络灾难性遗忘。近期大多数文献聚焦于改进学习算法，而未区分神经架构选择所造成的影响。因此，我们研究在类和域增量语义分割中，神经网络架构的选择如何影响灾难性遗忘。具体而言，我们将研究充分的CNN与近期提出的Transformer及混合架构进行比较，并分析新型归一化层及不同解码器头的影响。我们发现，如ResNet的传统CNN具有高可塑性但低稳定性，而Transformer架构则稳定得多。当CNN架构的归纳偏置与Transformer在混合架构中结合时，可带来更高的可塑性与稳定性。这些模型的稳定性可由其学习对分布偏移鲁棒的通用特征的能力来解释。采用不同归一化层的实验表明，持续归一化（Continual Normalization）在模型适应性与稳定性之间取得了最佳权衡。在类增量设定下，归一化层的选择影响小得多。我们的实验表明，即便使用朴素微调，正确的架构选择也能显著减少遗忘，并证实对于真实应用，架构是设计持续学习模型的重要因素。