面向高效多主体受控文本生成的后继特征
计算与语言
2023-11-10 v1 人工智能
摘要
尽管大语言模型（LLMs）在生成流畅且逼真的文本方面取得了令人印象深刻的性能，但控制生成文本使其展现出安全性、事实性和非毒性等属性仍然具有挑战性。现有的基于解码的方法是静态的，就控制的维度而言；若目标主体改变，它们需要重新训练。此外，同时控制多个主体很快就会变得难以承受。在这项工作中，我们引入 SF-GEN，其基于两个主要概念：后继特征（SFs）以将 LLM 的动态与任务特定奖励解耦，以及语言模型校正以根据已完成文本变为不合意的可能性按比例调整选择某个词符的概率。SF-GEN 将二者无缝结合，以实现动态引导文本生成，无需改变 LLM 的参数。得益于后继特征带来的解耦效应，我们的方法在训练和解码上均被证明在内存和计算上高效，尤其在处理多个目标主体时。据我们所知，我们的研究代表了后继特征在文本生成中的首次应用。除计算效率外，我们的方法所产生的语言在控制度量和语言质量上均与 SOTA 相当（且优于基线），我们通过一系列可控文本生成任务中的实验进行了展示。
引用
@article{arxiv.2311.04921,
title = {Successor Features for Efficient Multisubject Controlled Text Generation},
author = {Meng Cao and Mehdi Fatemi and Jackie Chi Kit Cheung and Samira Shabanian},
journal= {arXiv preprint arXiv:2311.04921},
year = {2023}
}