DRESS：通过样式子空间编辑提升 LLM 的高效风格化问答
计算与语言
2025-01-27 v1 人工智能
机器学习
摘要
我们介绍了 DRESS，一种通过表示编辑生成风格化大语言模型 (LLM) 响应的新方法。现有方法如提示和微调要么在复杂的风格适应方面不够充分，要么在像 NPC 创建或角色扮演等任务中计算昂贵。我们的方法利用 LLM 的过参数化特性，在模型表示空间中解耦出与风格相关的子空间，以进行表示编辑，确保对原始语义的最小影响。通过应用自适应编辑强度，我们动态调整风格子空间中的 steering 向量，以保持风格忠实性和语义完整性。我们开发了两个风格化问答基准数据集来验证 DRESS 的有效性，结果显示相对于提示和 ITI 等基线方法具有显著的改进。总的来说，DRESS 是一种轻量级、无训练的解决方案，用于增强 LLM 以灵活且有效的方式控制风格，特别适用于开发风格化对话代理。代码和基准数据集可在 https://github.com/ArthurLeoM/DRESS-LLM 上获取。
引用
@article{arxiv.2501.14371,
title = {DRESSing Up LLM: Efficient Stylized Question-Answering via Style Subspace Editing},
author = {Xinyu Ma and Yifeng Xu and Yang Lin and Tianlong Wang and Xu Chu and Xin Gao and Junfeng Zhao and Yasha Wang},
journal= {arXiv preprint arXiv:2501.14371},
year = {2025}
}
备注
ICLR 2025 Accepted