通过强化标签层次推理改进预训练模型用于零样本多标签文本分类
计算与语言
2021-04-06 v1
摘要
利用标签层次已成为解决零样本多标签文本分类（ZS-MTC）问题的一个有前景的方法。常规方法旨在学习文本与标签之间的匹配模型，使用图编码器融入标签层次以获得有效的标签表示 \cite{rios2018few}。近来，像 BERT \cite{devlin2018bert} 这样的预训练模型已被用于将分类任务转化为文本蕴含任务 \cite{yin-etal-2019-benchmarking}。该方法天然适用于 ZS-MTC 任务。然而，预训练模型在现有工作中未被充分探索，因为它们不为文本或标签生成独立的向量表示，从而难以将其与常规图编码方法直观结合。在本文中，我们探索在 ZS-MTC 任务上利用标签层次改进预训练模型。我们提出一种强化标签层次推理（RLHR）方法，以在训练期间鼓励层次中标签间的相互依赖。同时，为克服扁平预测的弱点，我们设计了一种回滚算法，可在推理期间消除预测中的逻辑错误。在三个真实数据集上的实验结果表明，我们的方法取得了更好的性能，并在 ZS-MTC 任务上优于以往的非预训练方法。
引用
@article{arxiv.2104.01666,
title = {Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning},
author = {Hui Liu and Danqing Zhang and Bing Yin and Xiaodan Zhu},
journal= {arXiv preprint arXiv:2104.01666},
year = {2021}
}
备注
Accepted to Main Conference of NAACL 2021 as Long Paper