基于扰动遮盖的有效无监督约束文本生成
计算与语言
2024-04-25 v1
摘要
无监督约束文本生成旨在在给定的约束集合下生成文本，而无需任何监督数据。当前的最先进方法通过随机采样编辑位置和动作，可能导致不必要的搜索步骤。本文提出了 PMCTG 方法，通过在每一步搜索最佳的编辑位置和动作来提高效果。具体而言，PMCTG 扩展了扰动遮盖技术，以有效搜索最不一致的标记进行编辑。然后引入四种多维度评分函数，以进一步减少搜索难度。由于 PMCTG 不需要监督数据，因此可应用于不同的生成任务。我们展示在无监督设置下，PMCTG 在两个代表性任务（即关键词到句子生成和改写）上实现了新的最先进结果。
引用
@article{arxiv.2404.15877,
title = {Effective Unsupervised Constrained Text Generation based on Perturbed Masking},
author = {Yingwen Fu and Wenjie Ou and Zhou Yu and Yue Lin},
journal= {arXiv preprint arXiv:2404.15877},
year = {2024}
}