基于 Transformer 的问题生成
计算与语言
2019-09-17 v2 人工智能
机器学习
摘要
我们开发了一个机器学习模型，利用 transformer（一种摒弃现有循环神经网络（RNNs）范式、基于注意力的模型）从维基百科段落自动生成问题。该模型在倒置的 Stanford Question Answering Dataset（SQuAD）上训练，SQuAD 是一个阅读理解数据集，包含众包工作者在一系列维基百科文章上提出的 100,000+ 个问题。训练后，该问题生成模型能够为未见段落生成相关的简单问题，且每个问题平均包含 8 个单词。词错误率（WER）被用作度量以比较 SQuAD 问题与该模型生成问题之间的相似度。尽管较高的平均 WER 表明生成的问题不同于原始 SQuAD 问题，但所生成的问题大体上语法正确且自身合理。
引用
@article{arxiv.1909.05017,
title = {Question Generation by Transformers},
author = {Kettip Kriangchaivech and Artit Wangperawong},
journal= {arXiv preprint arXiv:1909.05017},
year = {2019}
}