空白语言模型
计算与语言
2020-11-18 v2 机器学习
摘要
我们提出空白语言模型(BLM),一种通过动态创建并填充空白来生成序列的模型。空白控制序列的哪一部分被扩展,使得 BLM 非常适用于多种文本编辑与重写任务。该模型可以从单个空白或带有指定位置空白的部分完成文本开始。它迭代地决定在哪个空白中放置哪个词以及是否插入新空白,并在没有待填充空白时停止生成。BLM 可使用边际数据似然的下界进行高效训练。在填充缺失文本片段的任务上,BLM 在准确率和流畅度方面均显著优于所有其他基线。在风格迁移和受损古文复原上的实验展示了该框架在广泛应用中的潜力。
引用
@article{arxiv.2002.03079,
title = {Blank Language Models},
author = {Tianxiao Shen and Victor Quach and Regina Barzilay and Tommi Jaakkola},
journal= {arXiv preprint arXiv:2002.03079},
year = {2020}
}
备注
EMNLP 2020 camera-ready