零样本文本分类基准评测：数据集、评估与蕴含方法

Wenpeng Yin; Jamaal Hay; Dan Roth

零样本文本分类基准评测：数据集、评估与蕴含方法

计算与语言 2019-09-04 v1

作者: Wenpeng Yin , Jamaal Hay , Dan Roth

摘要

零样本文本分类（0Shot-TC）是一个具有挑战性的自然语言理解（NLU）问题，研究界对其关注甚少。0Shot-TC 旨在为一段文本关联一个合适的标签，而不考虑文本领域以及标签所描述的角度（如主题、情感、事件等）。目前仅有少数文章研究 0Shot-TC，且都仅关注主题分类，我们认为这仅仅是 0Shot-TC 的冰山一角。此外，文献中混乱的实验缺乏统一比较，模糊了研究进展。本工作通过提供统一的数据集、标准化评估和最先进的基线来基准评测 0Shot-TC 问题。我们的贡献包括：i）我们提供的数据集有助于研究相对于概念上不同且多样的角度的 0Shot-TC："主题"角度包含"体育"和"政治"作为标签；"情感"角度包含"喜悦"和"愤怒"；"情境"角度包含"医疗援助"和"水资源短缺"。ii）我们将现有评估设置（标签部分未见）——给定数据集，在部分标签上训练，在所有标签上测试——扩展为包含更具挑战性但更现实的评估标签完全未见 0Shot-TC（Chang et al., 2008），旨在完全不看到任务特定训练数据的情况下对文本片段进行分类。iii）我们将不同角度的 0Shot-TC 统一在文本蕴含表述中并据此进行研究。代码与数据：https://github.com/yinwenpeng/BenchmarkingZeroShot

关键词

零样本文本分类自然语言理解文本蕴含基准数据集标准化评估标签完全未见最先进基线

引用

@article{arxiv.1909.00161,
  title  = {Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach},
  author = {Wenpeng Yin and Jamaal Hay and Dan Roth},
  journal= {arXiv preprint arXiv:1909.00161},
  year   = {2019}
}

备注

EMNLP2019 camera-ready, 10 pages

零样本文本分类基准评测：数据集、评估与蕴含方法

摘要

关键词

引用

备注

相关论文