域外检测任务中意图类的稠密向量相对独热编码的优势探究
机器学习
2022-05-19 v1 人工智能
摘要
本文探讨了在需要检测域外(OOS)输入时，流行的独热编码方法在意图分类中的内在局限。尽管近期工作表明，当意图类以基于领域知识的稠密向量表示时，OOS检测可有显著改进，我们在本文中论证此类增益更可能源于稠密向量相较独热编码方法在表征OOS空间复杂性上的优势。我们首先展示稠密向量编码如何创建比独热编码方法拓扑丰富得多的OOS空间。随后利用四个标准意图分类数据集实证表明，无知识、随机生成的意图类稠密向量编码可带来超过20%的巨幅增益，优于独热编码，且胜过其中一数据集上先前的、基于领域知识的SOTA。最后我们描述一种搜索优良稠密向量编码的新算法，并给出其使用的初步但 promising 的实验结果。
引用
@article{arxiv.2205.09021,
title = {Exploring the Advantages of Dense-Vector to One-Hot Encoding of Intent Classes in Out-of-Scope Detection Tasks},
author = {Claudio Pinhanez and Paulo Cavalin},
journal= {arXiv preprint arXiv:2205.09021},
year = {2022}
}