连续自然语言处理系统中灾难性遗忘缓解的比较经验研究
计算与语言
2026-03-20 v1
摘要
部署在实际应用中的神经语言模型必须能够在不忘记先前已学习知识的前提下持续适应新的任务和领域。本文对灾难性遗忘在持续意图分类中的缓解进行比较经验研究。使用 CLINC150 数据集，我们构建了一个 10 任务标签不相交的场景，并在多种持续学习（CL）策略下评估三种 backbone 架构：前馈人工神经网络（ANN）、门控循环单元（GRU）和 Transformer 编码器。我们考虑从每个主要 CL 家族中选择的代表方法：基于回放的 Maximum Interfered Retrieval（MIR），基于正则化的 Learning without Forgetting（LwF），以及通过 Hard Attention to Task（HAT）实现的参数隔离。我们分别以及所有两两和三数组合对其进行评估。性能通过平均准确率、宏 F1 和向后迁移进行评估，捕捉任务序列中的稳定性-塑性权衡。我们的结果表明，朴素的顺序微调对所有架构都导致严重的遗忘，而且没有单一的 CL 方法能完全防止遗忘。回放方法至关重要：MIR 是最可靠的单一策略，包含回放的组合（MIR+HAT、MIR+LwF、MIR+LwF+HAT） consistently 取得高的最终性能，同时实现接近或轻微正向的向后迁移。最优配置取决于具体的架构。ANN 和 Transformer 上最佳结果为 MIR+HAT，而 GRU 上最佳结果为 MIR+LwF+HAT。在许多情况下，CL 方法甚至能超越联合训练，这表明其具有正则化效应。这一发现突显了在设计持续意图分类系统时，必须同时选择合适的 backbone 架构和 CL 机制的重要性。
引用
@article{arxiv.2603.18641,
title = {A Comparative Empirical Study of Catastrophic Forgetting Mitigation in Sequential Task Adaptation for Continual Natural Language Processing Systems},
author = {Aram Abrahamyan and Sachin Kumar},
journal= {arXiv preprint arXiv:2603.18641},
year = {2026}
}