FisherTune：面向领域无关分割的 Fisher 导向鲁棒性微调方法
计算机视觉与模式识别
2025-04-02 v2
摘要
视觉基础模型（Vision Foundation Models, VFMs）因大规模预训练在泛化性方面表现突出，但在保持泛化能力的前提下进行领域无关语义分割（Domain Generalized Semantic Segmentation, DGSS）的微调仍富有挑战性。现有方法要么选择性微调参数，要么冻结 VFMs 仅更新适配器，两者均可能未能充分发挥 VFMs 在 DGSS 任务中的潜力。我们观察到，源于任务和分布差异的域敏感参数会阻碍泛化性。为此，我们提出了 \textbf{FisherTune} 方法，利用领域相关 Fisher 信息矩阵（Domain-Related Fisher Information Matrix, DR-FIM）进行鲁棒微调。DR-FIM 测量参数在不同任务和域之间的灵敏度，从而实现针对性更新，既保留泛化能力，又提升 DGSS 的适应性。FisherTune 采用变分推断来稳定 DR-FIM 的估计，将参数视为高斯分布变量，并利用预训练的先验知识。大量实验表明，FisherTune 在保持泛化性的前提下，实现了跨域分割的最佳性能，超越了选择性参数微调和适配器类方法。
引用
@article{arxiv.2503.17940,
title = {FisherTune: Fisher-Guided Robust Tuning of Vision Foundation Models for Domain Generalized Segmentation},
author = {Dong Zhao and Jinlong Li and Shuang Wang and Mengyao Wu and Qi Zang and Nicu Sebe and Zhun Zhong},
journal= {arXiv preprint arXiv:2503.17940},
year = {2025}
}