通用激活解释器:跨模型激活解释的统一框架
计算与语言
2026-05-26 v1 机器学习
摘要
激活解释以自然语言解释隐藏表示,但现有方法大多局限于自解释,即每个模型仅解释自身的激活。我们引入了通用激活解释器(UAV),这是一个使用共享解码器来解释来自异构供体模型激活的框架。UAV学习一个轻量级适配器,将供体激活转换为解码器嵌入空间中的软令牌,并通过重用冻结的解码器侧LoRA,同时仅为另一个供体训练一个新适配器,进一步支持仅适配器的迁移。在分类、事实检索和要点总结任务中,UAV在实现跨模型家族和尺度的跨模型解释的同时,与强大的自解释基线保持竞争力。消融实验表明,解码器侧的调优主要改善了任务行为,而适配器则提供了忠实解释所需的、基于激活的事实和语义信息。
引用
@article{arxiv.2605.25903,
title = {Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation},
author = {Haiyan Zhao and Zirui He and Guanchu Wang and Ali Payani and Yingcong Li and Mengnan Du},
journal= {arXiv preprint arXiv:2605.25903},
year = {2026}
}
备注
23 pages, 11 figures, 11 tables