面向自然语言理解中领域分类的无超参数持续学习
计算与语言
2022-01-06 v1 人工智能
摘要
领域分类是自然语言理解（NLU）中的基础任务，常需要快速适应新出现的领域。这一约束使得即便新模型可访问所有先前领域，也无法对所有旧领域重新训练。大多数现有持续学习方法存在准确率低和性能波动的问题，尤其当新旧数据分布差异显著时。事实上，真实世界的关键问题并非缺乏旧数据，而是用全部旧数据集重训模型的低效性。是否有可能利用部分旧数据获得高准确率并保持稳定性能，同时不引入额外超参数？本文提出一种面向文本数据的无超参数持续学习模型，可在多种环境下稳定产生高性能。具体而言，我们利用 Fisher 信息筛选能够“记录”原模型关键信息的范例；并提出了一种称为动态权重巩固的新方案，以在重训过程中实现无超参数学习。大量实验表明，基线方法性能波动，因而在实践中无用。相反，我们提出的 CCFI 模型在平均准确率上比最佳 SOTA 方法显著且持续地高出最多 20%，且 CCFI 各组件均对整体性能有效贡献。
引用
@article{arxiv.2201.01420,
title = {Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding},
author = {Ting Hua and Yilin Shen and Changsheng Zhao and Yen-Chang Hsu and Hongxia Jin},
journal= {arXiv preprint arXiv:2201.01420},
year = {2022}
}