评估与改进口语理解中的持续学习
计算与语言
2024-02-19 v1 人工智能
声音
音频与语音处理
摘要
持续学习已成为包括口语理解（SLU）在内的各种任务中日益重要的挑战。在 SLU 中，其目标是有效处理新概念的出现和环境的演变。对持续学习算法的评估通常涉及评估模型的稳定性、可塑性和泛化性作为标准的基本方面。然而，现有的持续学习指标主要仅关注这些属性中的一两个。它们忽略了所有任务的整体性能，并且没有充分解耦模型内部可塑性与稳定性/泛化性之间的权衡。在本工作中，我们提出了一种评估方法，对持续学习中的稳定性、可塑性和泛化性提供统一评估。通过采用所提出的指标，我们展示了引入各种知识蒸馏如何改善 SLU 模型这三个属性的不同方面。我们进一步表明，我们提出的指标在捕捉持续学习中任务排序的影响方面更为敏感，使其更适合实际应用场景。
引用
@article{arxiv.2402.10427,
title = {Evaluating and Improving Continual Learning in Spoken Language Understanding},
author = {Muqiao Yang and Xiang Li and Umberto Cappellazzo and Shinji Watanabe and Bhiksha Raj},
journal= {arXiv preprint arXiv:2402.10427},
year = {2024}
}