DeCoVec：基于任务向量的大语言模型解码空间构建方法
计算与语言
2026-04-14 v1
摘要
任务向量代表模型或激活空间中编码特定任务行为的方向，已成为引导大型语言模型(LLM)的有前景工具。然而，现有方法通常需要微调或对内部状态进行侵入性操作，限制了其灵活性和可扩展性。我们提出了DeCoVec(基于解码空间的任务向量)，这是一个无需训练、非侵入性的框架，通过利用原语学习(ICL)在解码空间中直接构建任务向量。具体而言，DeCoVec通过捕获少量样本和零样本提示输出逻辑分布之间的差异来捕获任务本质，然后通过将该向量注入解码过程来引导生成。实验在七个LLM(0.5B--9B参数)上的TruthfulQA、Math-500和AQUA-RAT上表明，DeCoVec在所有指标上均优于标准的零样本基线，准确率提升最高可达+5.50个百分点。进一步分析显示，DeCoVec有效抑制了生成退化和逻辑缺陷，同时对演示排序表现出强鲁棒性，且无需额外输入token成本。该方法为LLM的无训练、非侵入式操控提供了解决方案，无需权重更新或额外模型。
引用
@article{arxiv.2604.11129,
title = {DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning},
author = {Feiyang Li and Yile Wang},
journal= {arXiv preprint arXiv:2604.11129},
year = {2026}
}
备注
Accepted to ACL 2026 Findings