ReGen：基于预训练语言模型利用强化学习进行文本与知识库生成
计算与语言
2021-08-31 v1 机器学习
摘要
从文本自动构建相关知识库（KBs）以及从知识库生成语义有意义的文本，均是机器学习中长久以来的目标。本文中，我们提出 ReGen，一种利用强化学习（RL）提升性能的文本与图的双向生成方法。图线性化使我们能将两项任务均重新表述为序列到序列生成问题，而与生成方向无关，这进而允许使用强化学习进行序列训练，其中模型自身作为自身的评判者，导致自批判序列训练（SCST）。我们给出广泛研究，证明通过 SCST 使用 RL 有益于 WebNLG+ 2020 与 TekGen 数据集上的图与文本生成。我们的系统在 WebNLG+ 2020 上提供最先进结果，相较 WebNLG 2020+ 挑战赛已发布结果在文本到图与图到文本生成任务上均显著提升。
引用
@article{arxiv.2108.12472,
title = {ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models},
author = {Pierre L. Dognin and Inkit Padhi and Igor Melnyk and Payel Das},
journal= {arXiv preprint arXiv:2108.12472},
year = {2021}
}
备注
Accepted to appear in the main conference of EMNLP 2021