交互式文本生成

用户每天都与文本、图像、代码或其他编辑器进行交互。然而，机器学习模型很少在反映用户与其编辑器之间交互性的环境中接受训练。这是可以理解的，因为用真实用户训练 AI 模型不仅缓慢且昂贵，而且这些模型所学内容可能特定于用户界面设计选择。遗憾的是，这意味着大多数关于文本、代码和图像生成的研究都集中在非交互式设定上，即期望模型一次性做对，而不考虑任何可能愿意提供帮助的用户输入。我们引入了一项新的交互式文本生成任务，通过使用提供编辑以引导模型朝向给定目标文本的用户模拟器，可以在不涉及真实用户成本的情况下交互式地训练生成模型。我们使用模仿学习来训练交互式模型，并且我们针对有竞争力的非交互式生成模型的实验表明，即使所有模型被给予相同的用户输入或编辑预算，交互式训练的模型也优于其非交互式对应模型。