Redwood：利用碰撞检测构建大规模意图分类数据集
计算与语言
2022-07-26 v2
摘要
对话系统必须能够通过随时间的更新来融入新技能，以反映新的用例或部署场景。类似地，此类机器学习驱动系统的开发者需要能够向已有数据集添加新训练数据以支持这些新技能。在意图分类系统中，若新技能意图的训练数据与已有意图在语义上重叠，则会产生问题。我们称此类情况为碰撞。本文引入了用于扩展系统技能集的多个数据集间意图碰撞检测任务。我们介绍了几种碰撞检测方法，并在展现碰撞的真实数据集上评估了我们的方法。为凸显意图碰撞检测的需求，我们展示了若以不仲裁碰撞意图的方式添加新数据，模型性能会受损。最后，我们利用碰撞检测构建并基准测试了一个新数据集 Redwood，其由来自 13 个原始意图分类数据集的 451 个意图类别组成，使其成为公开可用的最大意图分类基准。
引用
@article{arxiv.2204.05483,
title = {Redwood: Using Collision Detection to Grow a Large-Scale Intent Classification Dataset},
author = {Stefan Larson and Kevin Leach},
journal= {arXiv preprint arXiv:2204.05483},
year = {2022}
}
备注
SIGDIAL 2022