Locate&Edit：基于能量的高效、灵活且忠实的受控文本生成
计算与语言
2024-07-02 v1 机器学习
摘要
近期方法通常通过在解码时操作基础语言模型（LM）的权重或逻辑来实现受控文本生成（CTG），但这些方法不适用于最新的黑盒 LM，也无效于保持基础 LM 原始生成的核心语义。在本工作中，我们提出了 Locate&Edit（L&E），一种高效且灵活的能量-based 方法，用于 CTG，通过对基础 LM 的文本输出进行编辑来实现。给定基础 LM 的文本输出，L&E 首先利用能量模型定位与约束（如有害内容）最相关的文本片段，然后通过替换更合适的替代方案来编辑这些片段。重要的是，L&E 与黑盒 LM 兼容，因为它仅需要文本输出。此外，由于 L&E 不要求其组件模型具有特定的体系结构，因此可以与多种可用的即插即用模型组合。更重要的是，L&E 保留了基础 LM 的原始生成，通过选择性地修改文本中与约束相关的方面而保持其他方面不变。这些有针对性的编辑也确保了 L&E 的高效运行。我们的实验表明，L&E 在保持基础 LM 生成语义的忠实性方面取得优异成绩，同时在速度上也表现出色，且在约束满足方面实现了与现有方法并列或更好的效果。此外，我们分析了能量分布粒度对 CTG 性能的影响，发现细粒度、基于回归的能量模型在满足约束方面优于常规的二元分类器能量模型。
引用
@article{arxiv.2407.00740,
title = {Locate&Edit: Energy-based Text Editing for Efficient, Flexible, and Faithful Controlled Text Generation},
author = {Hye Ryung Son and Jay-Yoon Lee},
journal= {arXiv preprint arXiv:2407.00740},
year = {2024}
}
备注
18 pages, 2 figures