Tailor：基于语义控制的文本生成与扰动
计算与语言
2022-03-21 v2
摘要
受控文本扰动对于评估和改进模型泛化能力很有用。然而，当前技术依赖于为每个目标扰动训练一个模型，成本高且难以泛化。我们提出 Tailor，一个语义控制文本生成系统。Tailor 构建于预训练 seq2seq 模型之上，生成以源自语义表示的控代码为条件的文本输出。我们设计了一组修改控代码的操作，进而引导生成朝向目标属性。这些操作可进一步组合为更高阶操作，允许灵活的扰动策略。我们在多个应用中展示了这些扰动的有效性。首先，我们使用 Tailor 为四个不同的自然语言处理（NLP）任务自动创建高质量对比集。这些对比集包含更少的伪 artifacts，并且在词汇多样性上补充了人工标注的对比集。其次，我们展示 Tailor 扰动可通过数据增强提升模型泛化能力。仅扰动 2% 的训练数据，在衡量对句法启发式依赖的 NLI 挑战集上带来了 5.8 个百分点的提升。
引用
@article{arxiv.2107.07150,
title = {Tailor: Generating and Perturbing Text with Semantic Controls},
author = {Alexis Ross and Tongshuang Wu and Hao Peng and Matthew E. Peters and Matt Gardner},
journal= {arXiv preprint arXiv:2107.07150},
year = {2022}
}