用于引导生成式大语言模型的风格向量
计算与语言
2024-02-05 v1
摘要
本研究探讨了通过在文本生成过程中向隐藏层的激活添加风格向量，将大语言模型 (LLM) 的输出引导至特定风格（如情感、情绪或写作风格）的策略。我们表明，与更复杂的基于训练的方法相比，风格向量可以简单地从特定风格输入文本的记录层激活中计算得出。通过一系列实验，我们证明了利用此类风格向量进行激活工程 (activation engineering) 的有效性，能够以细微且可参数化的方式影响生成文本的风格，从而区别于提示工程 (prompt engineering)。本研究构成了开发更具适应性和有效性的 AI 赋能交互式系统的重要一步。
引用
@article{arxiv.2402.01618,
title = {Style Vectors for Steering Generative Large Language Model},
author = {Kai Konen and Sophie Jentzsch and Diaoulé Diallo and Peer Schütt and Oliver Bensch and Roxanne El Baff and Dominik Opitz and Tobias Hecking},
journal= {arXiv preprint arXiv:2402.01618},
year = {2024}
}
备注
Will be published as findings paper at EACL2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics