预训练、交互、微调：一种用于文本分类的新型交互表示
信息检索
2019-09-27 v1 计算与语言
摘要
文本表示有助于机器理解文本。以往的文本表示工作通常关注所谓的前向蕴含，即以前面的词作为后面词的上下文来创建表示，从而忽略了文本片段的语义是文本中词语相互蕴含的产物：后面的词也有助于前面词的意义。我们引入交互的概念，并提出一种双视角交互表示，其封装了局部交互表示与全局交互表示。其中，局部交互表示是在句法树上具有父子关系的词之间进行交互的表示，而全局交互解释是在一个句子中的所有词之间进行交互的表示。我们将这两种交互表示结合，发展了混合交互表示（HIR）。受现有的基于特征和基于微调的预训练—微调语言模型方法启发，我们整合基于特征与基于微调方法的优势，提出预训练、交互、微调（PIF）架构。我们在五个广泛使用的文本分类任务数据集上评估所提出的模型。我们的集成方法在错误率上以 2.03% 至 3.15% 的提升优于最先进的基线。此外，我们发现，PIF 相对于大多数最先进方法的提升不受文本长度增加的影响。
引用
@article{arxiv.1909.11824,
title = {Pre-train, Interact, Fine-tune: A Novel Interaction Representation for Text Classification},
author = {Jianming Zheng and Fei Cai and Honghui Chen and Maarten de Rijke},
journal= {arXiv preprint arXiv:1909.11824},
year = {2019}
}
备注
32 pages, 5 figures