从维基百科编辑历史中学习句子拆分与改写
计算与语言
2018-08-30 v1
摘要
拆分与改写（split and rephrase）的任务是将一个句子拆分成多个较短的句子，这些短句共同传达相同的含义。我们通过挖掘维基百科的编辑历史，为该任务提取了一个丰富的新数据集：WikiSplit 包含一百万个自然发生的句子重写，所提供的不同拆分示例比 Narayan 等人（2017）作为该任务基准引入的 WebSplit 语料库多六十倍，词汇量大九十倍。将 WikiSplit 作为训练数据，可得到一个定性预测更优的模型，在 WebSplit 基准上的得分比先前最佳结果高出 32 个 BLEU 点。
引用
@article{arxiv.1808.09468,
title = {Learning To Split and Rephrase From Wikipedia Edit History},
author = {Jan A. Botha and Manaal Faruqui and John Alex and Jason Baldridge and Dipanjan Das},
journal= {arXiv preprint arXiv:1808.09468},
year = {2018}
}