面向视觉语言模型的忘记抗性与病灶感知源自域适应视网膜图像分析
计算机视觉与模式识别
2026-02-24 v1
摘要
源域自适应（SFDA）旨在利用仅来自目标域的无标签数据和源域模型，使在源域训练的模型在目标域上表现良好。鉴于常规SFDA方法在域迁移下不可避免地存在误差，近期越来越多地关注利用现成基础模型（如视觉语言模型，ViL）辅助SFDA。然而，现有工作在利用ViL模型进行SFDA时面临两个问题：(i)虽然利用互信息考虑ViL模型预测与目标模型联合分布，但我们认为目标模型的某些优越预测在适应期间仍可能被遗忘，表现为某些类别准确率下降；(ii) prior研究忽略了ViL模型中嵌入的丰富细粒度知识，这些知识为视网膜图像诊断提供了细致的依据。本文提出一种新颖的忘记抗性与病灶感知（FRLA）方法，用于ViL模型驱动的视网膜图像诊断SFDA。具体而言，忘记抗性适应模块显式保留目标模型的置信预测，病灶感知适应模块从ViL模型获取局部预测，并用于帮助目标模型识别病灶区域并利用ViL模型的细粒度知识。大量实验表明，我们的方法不仅显著优于视觉语言模型，还在SOTA方法上持续获得提升。我们的代码将对外公开。
引用
@article{arxiv.2602.19471,
title = {Forgetting-Resistant and Lesion-Aware Source-Free Domain Adaptive Fundus Image Analysis with Vision-Language Model},
author = {Zheang Huai and Hui Tang and Hualiang Wang and Xiaomeng Li},
journal= {arXiv preprint arXiv:2602.19471},
year = {2026}
}
备注
10 pages