可泛化持续学习

为有效适应动态的真实世界环境，智能系统必须不断获取新技能，同时将其泛化到多样化、未见情景中。本文提出一种新颖且贴近现实的设定，称为可泛化持续学习（Domain Generalizable Continual Learning，DGCL）：模型依次学习一系列任务，其中每个任务涉及单个领域，旨在在所有遇到的任务和领域中表现良好。该设定在获取、保留和利用语义相关信息和领域相关信息方面提出独特挑战，以实现稳健的泛化。虽然最先进的持续学习（CL）方法已采用预训练模型（PTMs）来增强任务特定的泛化，但它们通常假设每个任务的训练域与测试域相同，因此在 DGCL 中表现不佳。为此，我们提出了自适应域转换（Adaptive Domain Transformation，DoT）方法，专为 DGCL 设计。灵感来自人类大脑的分布式加枢纽理论，DoT 在表示学习中解耦语义相关信息和领域相关信息，并对各种领域中的任务表示进行自适应转换，以实现输出对齐，确保平衡且泛化的预测。DoT 作为一种可插入策略，显著简化了 DGCL 下最先进 CL 基线在完整参数调优和参数高效调优范式下的实现，经大量实验验证。此外，DoT 被证明可从 DGCL 中累积可泛化的知识，并实现轻量级实现以确保资源效率。