通过多阶段知识迁移框架缓解多领域中文拼写纠错中的灾难性遗忘
计算与语言
2024-02-20 v1
摘要
中文拼写纠错 (CSC) 旨在检测并纠正给定句子中的拼写错误。最近，多领域 CSC 因其更具实用性而逐渐引起研究人员的关注。在本文中，我们关注 CSC 模型在适应多领域场景时的关键缺陷：在学习新的领域特定知识时倾向于忘记先前获得的知识（即灾难性遗忘）。为了解决这个问题，我们提出了一种新颖的与模型无关的多阶段知识迁移 (MKT) 框架，该框架利用不断演进的教师模型在每个领域进行知识迁移，而不是仅仅关注新的领域知识。值得一提的是，我们是第一个将持续学习方法应用于多领域 CSC 任务的。实验证明了我们提出方法的有效性，进一步的分析表明克服灾难性遗忘对于提高模型性能的重要性。
引用
@article{arxiv.2402.11422,
title = {Mitigating Catastrophic Forgetting in Multi-domain Chinese Spelling Correction by Multi-stage Knowledge Transfer Framework},
author = {Peng Xing and Yinghui Li and Shirong Ma and Xinnian Liang and Haojing Huang and Yangning Li and Hai-Tao Zheng and Wenhao Jiang and Ying Shen},
journal= {arXiv preprint arXiv:2402.11422},
year = {2024}
}