Air-Decoding：用于解码时可控文本生成的属性分布重构
计算与语言
2023-11-03 v3
摘要
可控文本生成（CTG）旨在生成具有期望属性的文本，基于解码时的方法在该任务上已展现出良好性能。然而，本文首次识别出属性崩塌（Attribute Collapse）现象。它导致当控制强度超过某一临界值时，生成文本的流畅度迅速下降，使文本完全不可用。该局限阻碍了解码方法实现高水平可控性。为解决此问题，我们提出一种名为Air-Decoding的轻量级解码框架。其核心思想是通过重构属性分布来平衡属性词与非属性词之间的权重，从而生成更流畅的文本。具体而言，我们通过前缀微调（prefix-tuning）训练前缀以获得属性分布。随后设计一种新颖的属性分布重构方法来平衡所得分布，并利用重构后的分布引导语言模型生成，有效避免了属性崩塌问题。在多个CTG任务上的实验证明，我们的方法达到了新的最先进（SOTA）控制性能。
引用
@article{arxiv.2310.14892,
title = {Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation},
author = {Tianqi Zhong and Quan Wang and Jingxuan Han and Yongdong Zhang and Zhendong Mao},
journal= {arXiv preprint arXiv:2310.14892},
year = {2023}
}
备注
Accepted as an EMNLP 2023 main paper