用于改进持续文本分类的信息论互补提示
计算与语言
2025-05-28 v1
摘要
持续文本分类(CTC)旨在随时间持续对新文本数据进行分类，同时最大限度地减少对先前获取知识的灾难性遗忘。然而，现有方法通常关注特定任务的知识，忽略了共享的、与任务无关的知识的重要性。受互补学习系统理论的启发——该理论假设人类通过两个系统的交互进行持续学习：负责形成特定经验的不同表征的海马体，以及从过去经验中提取更通用和可迁移表征的新皮层——我们引入了信息论互补提示，一种用于CTC的新方法。InfoComp显式地学习两个不同的提示空间：私有提示和共享提示。它们分别编码特定任务知识和任务不变知识，使模型能够按顺序学习分类任务而无需依赖数据重放。为了促进更具信息量的提示学习，InfoComp使用信息论框架来最大化不同参数（或编码表征）之间的互信息。在该框架内，我们设计了两个新颖的损失函数：(1) 增强P-Prompt中特定任务知识的积累，有效缓解灾难性遗忘；(2) 增强S-Prompt中任务不变知识的保留，改善前向知识迁移。在多个CTC基准上的广泛实验表明，我们的方法优于先前最先进的方法。
引用
@article{arxiv.2505.20933,
title = {Information-Theoretic Complementary Prompts for Improved Continual Text Classification},
author = {Duzhen Zhang and Yong Ren and Chenxing Li and Dong Yu and Tielin Zhang},
journal= {arXiv preprint arXiv:2505.20933},
year = {2025}
}
备注
Accepted by Neural Networks