定向结构自适应以克服统计冲突并实现持续学习

当前的自适应网络依赖于过参数化的固定拓扑结构，这些结构无法突破其在接触的数据中遇到的统计冲突，并且当网络试图重用现有结构学习新任务时，容易发生“灾难性遗忘”。我们提出了一种结构自适应方法 DIRAD，该方法可以根据需要进行定向复杂化，而不受数据集中统计冲突的限制。随后，我们扩展了该方法并提出了 PREVAL 框架，该框架旨在通过检测新数据并将遇到的数据分配给适合处理它们的已适配模型，来防止持续学习中的“灾难性遗忘”，且无需在工作流程的任何地方使用任务标签。我们展示了 DIRAD 在构建高性能网络方面的可靠性，其复杂度比固定拓扑网络低数个数量级；并演示了 PREVAL 的概念验证操作，其中观察到网络能够持续适应新任务，同时能够检测和辨别先前遇到的任务。