相关性与蕴含的句子嵌入联合学习
计算与语言
2016-06-24 v2 机器学习
神经与进化计算
摘要
我们考虑在信息检索背景下的文本蕴含识别问题,其中我们必须同时确定个体证据的相关性和蕴含程度,以对二元自然语言问题给出是/否答案。我们比较了在基于不同相关性证据进行决策的设置中,用于句子嵌入的几种神经网络变体。我们提出了一个整合蕴含证据的基本模型,展示了联合训练句子嵌入以建模相关性和蕴含即使在没有显式逐证据监督的情况下也是可行的,并展示了评估强基线的重要性。我们还展示了将在一个不相关任务上训练的文本理解模型迁移到我们的小数据集上的益处。我们的研究主要由我们引入的一个新的开放数据集所推动,该数据集由二元问题和基于新闻的证据片段组成。我们还将提出的相关性-蕴含模型应用于排序多项选择题答案的类似任务,在学校测试题的初步数据集以及标准MCTest数据集上对其进行评估,在其中我们改进了神经模型的最优结果。
引用
@article{arxiv.1605.04655,
title = {Joint Learning of Sentence Embeddings for Relevance and Entailment},
author = {Petr Baudis and Silvestr Stanko and Jan Sedivy},
journal= {arXiv preprint arXiv:1605.04655},
year = {2016}
}
备注
repl4nlp workshop at ACL Berlin 2016