IDEA：基于标签嵌入交互双注意力的文本分类模型
计算与语言
2022-09-26 v1 人工智能
摘要
当前文本分类方法通常仅将文本编码为嵌入再接入朴素或复杂分类器，忽略了标签文本中所含的提示性信息。事实上，人类主要依据子类别的语义含义对文档分类。我们提出一种通过孪生 BERT 与交互双注意力（命名为 IDEA，即 Interactive DoublE Attentions）的新颖模型结构，以捕获文本与标签名之间的信息交换。交互双注意力使模型能从粗到细利用类间与类内信息，包括在所有标签中区分以及在真实标签的语义子类上匹配。我们提出的方法在使用标签文本时显著优于最先进方法，且结果更为稳定。
引用
@article{arxiv.2209.11407,
title = {IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification},
author = {Ziyuan Wang and Hailiang Huang and Songqiao Han},
journal= {arXiv preprint arXiv:2209.11407},
year = {2022}
}
备注
Accepted by ICTAI2022