基于可迁移 BERT 的故事结尾预测
计算与语言
2019-05-22 v2 机器学习
摘要
近期如 GPT 和 BERT 等进展，已显示出通过结合预训练 transformer 语言模型与微调操作来改进下游 NLP 系统的成功。然而，该框架在有效融入来自其他相关任务的监督知识方面仍存在一些根本性问题。在本研究中，我们探究一种可迁移 BERT（TransBERT）训练框架，其不仅能从大规模无标注数据迁移通用语言知识，还能从多种语义相关监督任务为目标任务迁移特定类型的知识。特别地，我们提出利用三种迁移任务，包括自然语言推理、情感分类和下一动作预测，在预训练模型基础上进一步训练 BERT。这使模型能为目标任务获得更好的初始化。我们以故事结尾预测作为目标任务进行实验。最终结果达到 91.8% 的准确率，大幅优于先前最先进的基线方法。若干对比实验就如何选取迁移任务给出了有益建议。错误分析展示了基于 BERT 的模型在故事结尾预测上的优势与不足。
引用
@article{arxiv.1905.07504,
title = {Story Ending Prediction by Transferable BERT},
author = {Zhongyang Li and Xiao Ding and Ting Liu},
journal= {arXiv preprint arXiv:1905.07504},
year = {2019}
}
备注
Accepted and to appear in IJCAI 2019