通過MLLM引導的可靠性基準課程學習以提升源自域適應
机器学习
2026-01-07 v3 计算机视觉与模式识别
摘要
現有的源自域適應(SFDA)方法在充分利用預訓練知識方面採取困難,且常依賴單個模型的預測或手工編寫的提示,限制了在域移動條件下的穩定性。多模態大型語言模型(MLLM)提供了有前景的替代方案:它們編碼了豐富的視覺語義知識且在無需特定任務調整的情況下具有良好的概括能力。然而,其在SFDA中的應用受到指令跟隨失敗、輸出不一致以及高推理成本的限制。我們提出可靠性基準課程學習(RCL),一個新型框架,從多個凍結的MLLM蒸餾出健壯的監督信號到一個緊湊的目標模型中。RCL將適應組織為三階段課程,依序根據模型間協議和模型信心納入pseudo-label,以實現穩定且具擾動感知的訓練。我們的方法在標準SFDA數據集上達到最先進的性能,優於零-shot MLLM及其集成,且無需訪問源數據或調整基礎模型。我們的代碼可在 https://github.com/Dong-Jie-Chen/RCL 查詢。
引用
@article{arxiv.2405.18376,
title = {Empowering Source-Free Domain Adaptation via MLLM-Guided Reliability-Based Curriculum Learning},
author = {Dongjie Chen and Kartik Patwari and Zhengfeng Lai and Xiaoguang Zhu and Sen-ching Cheung and Chen-Nee Chuah},
journal= {arXiv preprint arXiv:2405.18376},
year = {2026}
}