FreeCtrl：用于学习无控制可调文本生成的 Feedforward 层控制中心构建
计算与语言
2024-06-17 v1
摘要
可控文本生成（CTG）寻求制作符合特定属性的文本，传统上采用训练、微调或前缀调优等基于学习的技术，需针对特定属性的数据集。虽然这些方法有效，但需要大量计算和数据资源。相比之下，一些 proposed 的学习无学习方法避免了学习，往往产生成果较差，体现了机器学习在计算费用和模型效果之间的基本权衡。为克服这些限制，我们提出 FreeCtrl，一种无学习方法，通过动态调整所选取的 feedforward 神经网络（FFN）向量的权重来操控大型语言模型（LLM）的输出。FreeCtrl 的核心原则是，FFN 向量的权重会影响不同标记在输出中出现的概率。通过识别和自适应地调整与属性相关的 FFN 向量的权重，FreeCtrl 可以控制生成内容中属性关键词的输出概率。针对单属性和多属性控制进行大量实验，表明无学习的 FreeCtrl 在效果上优于其他无学习和有学习的方法，成功解决了学习成本与模型性能之间的困境。
关键词
引用
@article{arxiv.2406.09688,
title = {FreeCtrl: Constructing Control Centers with Feedforward Layers for Learning-Free Controllable Text Generation},
author = {Zijian Feng and Hanzhang Zhou and Zixiao Zhu and Kezhi Mao},
journal= {arXiv preprint arXiv:2406.09688},
year = {2024}
}
备注
ACL 2024