Delta Activations：微调大语言模型的一种表示
机器学习
2025-09-05 v1 人工智能
计算与语言
信息检索
摘要
强大的开源大语言模型（LLM）的成功使社区能够创建大量适应特定任务和领域的训练后模型。然而，由于不一致的元数据和非结构化的存储库，在这些模型中导航和理解仍然具有挑战性。我们引入了 Delta Activations，一种通过测量微调模型相对于基线模型的内部激活偏移，将其表示为向量嵌入的方法。这种表示允许按领域和任务进行有效聚类，揭示了模型景观中的结构。Delta Activations 还展现出理想的特性：它在微调设置中具有鲁棒性，并且在混合微调数据集时表现出可加性。此外，我们展示了 Delta Activations 可以通过少样本微调嵌入任务，并进一步探索了其在模型选择和合并中的用途。我们希望 Delta Activations 能促进重用公开可用模型的实践。代码可在 https://github.com/OscarXZQ/delta_activations 获取。
引用
@article{arxiv.2509.04442,
title = {Delta Activations: A Representation for Finetuned Large Language Models},
author = {Zhiqiu Xu and Amish Sethi and Mayur Naik and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2509.04442},
year = {2025}
}