精细调优如何改变证据？胸片X光解释中的架构依赖语义漂移
计算机视觉与模式识别
2026-04-10 v1
摘要
迁移学习后进行精细调优是医学图像分类中广泛采用的方法，因诊断性能稳定提升而获得一致的好评。然而，在具有重叠视觉特征的多类场景中，准确性的提升并不保证用于支持预测的视觉证据的稳定性。我们定义语义漂移为在迁移学习和完全精细调优之间，支持模型预测的归因结构发生的系统性变化，这反映了尽管分类性能稳定，但潜在视觉推理方式可能发生的变化。我们采用五类胸片X光任务，评估DenseNet201、ResNet50V2和InceptionV3在两个阶段的训练协议下，对漂移进行量化，使用参考无关的度量捕捉归因图的空间局部化和结构一致性。跨架构而言，粗略的解剖定位保持稳定，而重叠 IoU 揭示了显著的架构依赖的证据结构重组。超出单方法分析，稳定性排名在LayerCAM和GradCAM++之间会在收敛的预测性能下反转，确立解释稳定性作为架构、优化阶段和归因目标之间相互作用的结果。
引用
@article{arxiv.2604.08513,
title = {When Fine-Tuning Changes the Evidence: Architecture-Dependent Semantic Drift in Chest X-Ray Explanations},
author = {Kabilan Elangovan and Daniel Ting},
journal= {arXiv preprint arXiv:2604.08513},
year = {2026}
}