设计角色向量以改善 LLM 推理行为
计算与语言
2025-02-18 v1
摘要
人格对大型语言模型（LLM）的影响已广泛研究，但其对性能的直接影响尚不确定。本文探索一种新方法，通过角色向量引导 LLM 行为，这是人格化提示的另一种选择。我们从模型激活中构建 29 个角色向量，并评估其对多个领域基准性能的影响。我们的分析研究这些向量是否能有效地将模型引向特定领域的专业知识。我们测量两种关键干预措施：(i) 激活添加，通过强化角色特定方向发挥作用；(ii) 方向性消除，通过消除这些方向来发挥作用。多项权威基准测试的结果表明，角色向量确实会影响模型行为，在相关领域提高任务性能，而对不相关任务则有微小影响。这进一步表明，操控内部模型表示对结果的影响大于人格化提示。
引用
@article{arxiv.2502.12055,
title = {Designing Role Vectors to Improve LLM Inference Behaviour},
author = {Daniele Potertì and Andrea Seveso and Fabio Mercorio},
journal= {arXiv preprint arXiv:2502.12055},
year = {2025}
}
备注
Submitted to ARR 2025 February cycle