QuASE：问答驱动的句子编码
计算与语言
2020-12-07 v3 机器学习
机器学习
摘要
问答（QA）数据常在多方面编码关键信息。本文研究一个自然问题：我们能否从 QA 数据中为其他任务（通常是非 QA 任务）获取监督信号？例如，{\em 我们能否使用 QAMR（Michael 等，2017）来改进命名实体识别？} 我们指出简单地进一步预训练 BERT 往往不是最佳选择，并提出了{\em 问答驱动的句子编码（QuASE）}框架。QuASE 利用 BERT 或其他最先进的上下文语言模型从 QA 数据中学习表示。特别地，我们观察到需要根据目标任务是单句还是多句输入来区分两类句子编码；在这两种情况下，所得编码均被证明是许多下游任务中易于使用的插件。本工作可能指出一种监督 NLP 任务的替代途径。
引用
@article{arxiv.1909.00333,
title = {QuASE: Question-Answer Driven Sentence Encoding},
author = {Hangfeng He and Qiang Ning and Dan Roth},
journal= {arXiv preprint arXiv:1909.00333},
year = {2020}
}