Delta-Crosscoder：窄精调范围内的鲁棒性交叉编码器模型差异检测
机器学习
2026-03-06 v1 人工智能
摘要
模型差异检测方法旨在识别微调如何改变模型的内部表示。交叉编码器（Crosscoder）通过学习 base 模型与微调后模型之间的可解释潜在方向的共享字典来实现这一目标。然而，现有方法在窄精调（narrow fine-tuning）场景下表现不佳，这种情况下行为变化局部且不对称。我们提出 Delta-Crosscoder，结合 BatchTopK 稀疏性与 delta 基loss 优先考虑模型间发生变化的方向，外加来自匹配输入上成对激活的隐式对比信号。我们在 10 个模型生物体（包括合成虚假事实、涌现误位、潜意识学习和禁词猜测）上进行评估（Gemma、LLaMA、Qwen；参数范围 1B-9B）。Delta-Crosscoder 可靠地隔离导致微调行为的因果潜在方向，并实现有效的缓解，优于基于 SAE 的基线，同时匹配非 SAE 方法。我们的结果表明，交叉编码器仍是模型差异检测的强大工具。
引用
@article{arxiv.2603.04426,
title = {Delta-Crosscoder: Robust Crosscoder Model Diffing in Narrow Fine-Tuning Regimes},
author = {Aly Kassem and Thomas Jiralerspong and Negar Rostamzadeh and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2603.04426},
year = {2026}
}