打破写作瓶颈:自然语言生成模型的低成本微调
计算与语言
2021-03-03 v2
摘要
如今,通过微调大型预训练语言模型来解决信息抽取任务已是标准流程。生成任务则并非如此,它依赖于多种受控语言生成技术。在本文中,我们描述了一个针对解决写作瓶颈(Writer's Block)问题而微调自然语言生成模型的系统。该微调将条件设置改为除左上下文外还包含右上下文,以及可选的实体列表、篇幅大小、体裁和作者希望生成的段落摘要。我们提出的微调取得了优异结果,即便仅用少量训练轮数且总成本仅为 150 美元。该系统可作为网络服务访问,且所有代码均已发布。展示界面与模型的视频亦已提供。
引用
@article{arxiv.2101.03216,
title = {Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models},
author = {Alexandre Duval and Thomas Lamson and Gael de Leseleuc de Kerouara and Matthias Gallé},
journal= {arXiv preprint arXiv:2101.03216},
year = {2021}
}
备注
Accepted at EACL 2021