InTAct：基于区间的任务激活整合用于持续学习
机器学习
2026-02-24 v2 人工智能
摘要
持续学习是人工智能中的一个基本挑战，需要网络在获取新知识的同时保持已学习的表示。尽管各种方法取得了显著进展，但大多数现有范式未能对抗灾难性遗忘提供严格的数学保证。提供此类保证的方法主要集中于使用区间算术（IA）分析参数空间，如 InterContiNet 等框架所示。然而，对高维权重更新进行限制计算成本较高。本文提出了 InTAct（基于区间的任务激活整合），通过在神经元水平强制功能不变性来缓解灾难性遗忘。我们识别出特定激活区间，其中包含以前任务的表示，并在这些区间内约束更新，同时允许在其他区域进行灵活适应。通过确保这些嵌套激活区间内的预测保持稳定，我们提供了功能不变性的可计算数学保证。我们强调，调节激活空间显然比基于参数的约束更高效，因为内部信号的维度远低于模型权重的庞大空间。虽然我们的做法与特定网络结构无关，可应用于各种持续学习场景，但其与基于提示的方法集成可实现在具有挑战性基准测试上的最先进性能。
引用
@article{arxiv.2511.17439,
title = {InTAct: Interval-based Task Activation Consolidation for Continual Learning},
author = {Patryk Krukowski and Jan Miksa and Piotr Helm and Jacek Tabor and Paweł Wawrzyński and Przemysław Spurek},
journal= {arXiv preprint arXiv:2511.17439},
year = {2026}
}