文本生成中基于标量控制的泛化外推实证研究
计算与语言
2021-04-19 v1 机器学习
摘要
我们针对三个文本生成任务，对以标量控制输入（如期望输出长度、相对输入句的期望编辑量、期望情感）为条件时的外推性能进行了实证评估。具体而言，我们考察了一种零样本设定，其中模型被要求泛化到训练期间未见的控值范围。我们重点评估了流行的标量输入嵌入方法，包括可学习与正弦嵌入，以及更简单的方法。令人惊讶的是，我们的发现表明，最直接使用标量输入而不进一步编码的最简单策略，最可靠地实现了成功的外推。
引用
@article{arxiv.2104.07910,
title = {An Empirical Study of Extrapolation in Text Generation with Scalar Control},
author = {Aashi Jain and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:2104.07910},
year = {2021}
}