基于精调函数向量的关系知识蒸馏
计算与语言
2026-01-14 v1 机器学习
摘要
表示概念之间关系是智能系统理解世界的核心前提。最近的研究表明，通过因果中介分析可发现，小集合注意力头编码了任务表示于原语学习中，捕获为紧凑表示称为函数向量。我们展示，通过仅用约20个词对的精调函数向量，在关系基础词完成任务上性能优于使用因果中介分析得出的原始向量。这一改进适用于小型和大型语言模型。此外，精调后的函数向量还能提高关系词的解码性能，并更强地与人类语义关系相似性判断保持一致。接下来，我们引入复合函数向量——精调函数向量的加权组合——用于提取关系知识并支持类比推理。在推理时，将该复合向量插入LLM激活，可显著提升在认知科学和SAT基准测试中挑战性类比问题的性能。我们的结果凸显了激活修补作为可控机制，用于编码和操作关系知识的潜力，推动了大型语言模型的可解释性和推理能力。
引用
@article{arxiv.2601.08169,
title = {Relational Knowledge Distillation Using Fine-tuned Function Vectors},
author = {Andrea Kang and Yingnian Wu and Hongjing Lu},
journal= {arXiv preprint arXiv:2601.08169},
year = {2026}
}