BERT 有嘴，且必须说话：作为马尔可夫随机场语言模型的 BERT
计算与语言
2019-04-11 v2 机器学习
摘要
我们表明 BERT (Devlin et al., 2018) 是一种马尔可夫随机场语言模型。这一表述引出了一种从 BERT 中采样句子的自然过程。我们从 BERT 生成文本，发现其能产生高质量、流畅的生成结果。与传统的从左至右语言模型的生成相比，BERT 生成的句子更具多样性但质量略差。
引用
@article{arxiv.1902.04094,
title = {BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model},
author = {Alex Wang and Kyunghyun Cho},
journal= {arXiv preprint arXiv:1902.04094},
year = {2019}
}
备注
NeuralGen 2019; https://colab.research.google.com/drive/1MxKZGtQ9SSBjTK5ArsZ5LKhkztzg52RV