从架构视角重新审视持续学习中的稳定性-可塑性权衡

持续学习（CL）的研究旨在赋予神经网络逐步学习和适应的能力。该研究的核心是解决稳定性-可塑性困境，即在两个相互冲突的目标之间取得平衡：保留已学知识和获取新知识。尽管众多CL方法旨在实现这一权衡，但它们往往忽视了网络架构对稳定性和可塑性的影响，将权衡局限于参数层面。在本文中，我们从架构层面深入探讨稳定性与可塑性之间的冲突。我们揭示出，在等参数约束下，更深的网络表现出更好的可塑性，而更宽的网络则具有更优的稳定性。为解决这一架构层面的困境，我们引入了一个名为Dual-Arch的新型框架，可作为CL的插件式组件。该框架利用两个不同且独立网络的互补优势：一个专注于可塑性，另一个专注于稳定性。每个网络都采用专门且轻量级的架构，以适配其各自目标。大量实验表明，Dual-Arch在提升现有CL方法性能的同时，参数规模最多可减少87%。代码：https://github.com/byyx666/Dual-Arch。