Delta-Audit:解释模型变更时发生了什么变化
摘要
模型更新(新的超参数、核函数、深度、求解器或数据)会改变性能,但其原因通常仍不透明。我们引入了Delta-Attribution(Δ-Attribution),一个模型无关的框架,通过差分逐特征归因来解释版本A和版本B之间发生了什么变化:Δφ(x)=φ_B(x)−φ_A(x)。我们使用Δ-归因质量套件评估Δφ,涵盖幅度/稀疏性(L1、Top-k、熵)、一致性/偏移(rank-overlap@10、Jensen-Shannon散度)、行为对齐(Delta Conservation Error, DCE;Behavior-Attribution Coupling, BAC;COΔF)以及鲁棒性(噪声、基线敏感性、分组遮挡)。通过在标准化空间中使用类别锚定边界和基线平均的快速遮挡/钳制实例化,我们审计了45种设置:五个经典族(Logistic Regression、SVC、Random Forests、Gradient Boosting、kNN)、三个数据集(Breast Cancer、Wine、Digits),以及每个族三个A/B配对。结果表明,归纳偏置变化产生大的、行为对齐的delta(例如,SVC poly→rbf在Breast Cancer上:BAC≈0.998,DCE≈6.6;Random Forest特征规则交换在Digits上:BAC≈0.997,DCE≈7.5),而'装饰性'调整(SVC gamma=scale与auto、kNN搜索)显示rank-overlap@10=1.0且DCE≈0。最大的重新分配出现在Breast Cancer上更深的GB(JSD≈0.357)。Δ-Attribution提供了一种轻量级的更新审计,补充了准确率,区分良性变化与行为上有意义或存在风险的依赖偏移。
引用
@article{arxiv.2508.19589,
title = {Delta-Audit: Explaining What Changes When Models Change},
author = {Arshia Hemmat and Afsaneh Fatemi},
journal= {arXiv preprint arXiv:2508.19589},
year = {2025}
}
备注
7 pages, 1 figure, 4 tables