自回归与非自回归多标签学习的研究
机器学习
2020-12-04 v1
摘要
极端分类任务是具有极大量标签（标记）的多标签任务。这些任务困难，因为标签空间通常 (i) 非常大，例如数千或数百万标签，(ii) 非常稀疏，即每个输入文档仅适用极少标签，以及 (iii) 高度相关，意味着一个标签的存在会改变预测所有其他标签的可能性。在本工作中，我们提出一种基于自注意力的变分编码器-模型，联合提取标签-标签与标签-特征依赖关系，并为给定输入预测标签。更详细地，我们提出一种非自回归潜变量模型，并将其与一种强大的自回归基线进行比较，该基线基于所有先前生成的标签预测一个标签。因此，我们的模型可用于并行预测所有标签，同时通过潜变量包含标签-标签与标签-特征依赖关系，并且优于该自回归基线。我们将模型应用于四个标准极端分类自然语言数据集，以及一个新闻视频数据集，用于从语义概念词典中自动检测标签。实验结果表明，尽管按给定标签顺序进行链序标签预测的自回归模型在小规模标签或高排名标签预测上表现优异，但当我们需要预测更多标签或数据集具有更大标签数量时，我们的非自回归模型以约 2% 至 6% 的优势超越它们。
引用
@article{arxiv.2012.01711,
title = {A Study on the Autoregressive and non-Autoregressive Multi-label Learning},
author = {Elham J. Barezi and Iacer Calixto and Kyunghyun Cho and Pascale Fung},
journal= {arXiv preprint arXiv:2012.01711},
year = {2020}
}