渐进式发散实现无缝适应：一种新型领域递增学习方法
机器学习
2024-06-25 v1 人工智能
计算机视觉与模式识别
摘要
领域递增学习 (DIL) 在实际场景中面临重大挑战，因为模型需要在不同领域之间顺序训练，同时避免灾难性遗忘。缓解表示漂移——即随模型适应新任务而发生的学习表示变化——可有助于缓解灾难性遗忘。在本研究中，我们提出了一种名为 DARE 的新型 DIL 方法，包含三个阶段的训练过程：发散、适应与精炼。该过程逐步将与新任务相关的表示适配到由先前任务样本所张成的特征空间中，同时集成任务特定的决策边界。此外，我们引入了一种新的缓冲区采样策略，并展示了结合该采样策略后，我们的方法在减少特征编码器内表示漂移方面的有效性。该贡献有效缓解了多个 DIL 基准测试中的灾难性遗忘。 Furthermore, our approach prevents sudden representation drift at task boundaries, resulting in a well-calibrated DIL model that maintains the performance on previous tasks.
引用
@article{arxiv.2406.16231,
title = {Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method},
author = {Kishaan Jeeveswaran and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2406.16231},
year = {2024}
}
备注
Accepted at 41st International Conference on Machine Learning (ICML 2024)