MacLaSa：基于紧凑潜空间高效采样的多方面可控文本生成
计算与语言
2023-10-18 v2
摘要
多方面可控文本生成旨在同时生成具备多个期望属性的流畅句子。传统方法或在解码阶段组合多个算子（常需在离散文本空间中进行代价高昂的迭代或搜索），或为各方面训练独立控制器，因不同方面间的差异而导致文本质量退化。为克服这些局限，我们提出一种新颖的多方面控制方法 MacLaSa，其为多方面估计紧凑潜空间，并基于常微分方程（ODE）的鲁棒采样器进行高效采样。为消除不同方面间的领域鸿沟，我们利用变分自编码器（VAE）网络将来自不同数据源的文本序列映射为相近的潜表示。所估计的潜空间支持构建联合基于能量的模型（EBM）并插入任意属性判别器以实现多方面控制。随后，我们使用基于 ODE 的采样器抽取潜向量样本，并将采样样本送入 VAE 解码器以生成目标文本序列。实验结果表明，MacLaSa 在属性相关性与文本质量上优于若干强基线，同时保持较高的推理速度。
引用
@article{arxiv.2305.12785,
title = {MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space},
author = {Hanxing Ding and Liang Pang and Zihao Wei and Huawei Shen and Xueqi Cheng and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.12785},
year = {2023}
}
备注
Accepted to the Findings of EMNLP 2023