基于相似度的领域排序能否减少意图识别中的灾难性遗忘？
计算与语言
2024-02-23 v1 人工智能
摘要
面向任务的对话系统即使在部署后，也被期望能够处理不断扩展的意图和领域集合，以支持越来越多的功能。为了满足这一期望，关键在于缓解意图识别等任务在持续学习 (continual learning, CL) 设置中发生的灾难性遗忘 (catastrophic forgetting, CF) 问题。虽然现有的对话系统研究已探索了基于回放和基于正则化的方法来解决这一问题，但领域排序对意图识别模型持续学习性能的影响尚未得到探索。如果得到充分理解，领域排序有可能成为一种正交技术，可与经验回放等现有技术结合使用。我们的工作通过比较三种领域排序策略（最小和路径、最大和路径、随机）对生成式意图识别模型持续学习性能的影响，填补了这一空白。我们的研究结果表明，在使用 220M 参数的 T5-Base 模型进行训练时，最小和路径策略在减少灾难性遗忘方面优于其他策略。然而，这一优势在使用更大的 770M 参数 T5-Large 模型时会有所减弱。这些结果强调了领域排序作为一种补充策略，在缓解持续学习的意图识别模型中的灾难性遗忘方面的潜力，特别是在资源受限的场景中。
引用
@article{arxiv.2402.14155,
title = {Can Similarity-Based Domain-Ordering Reduce Catastrophic Forgetting for Intent Recognition?},
author = {Amogh Mannekote and Xiaoyi Tian and Kristy Elizabeth Boyer and Bonnie J. Dorr},
journal= {arXiv preprint arXiv:2402.14155},
year = {2024}
}