传递性视觉-语言提示学习用于域泛化
计算机视觉与模式识别
2024-04-30 v1 机器学习
摘要
视觉-语言预训练使深度模型在跨未见域泛化方面迈出了一大步。基于视觉-语言预训练模型的近期学习方法成为域泛化的有力工具，并能在很大程度上解决这一问题。然而，当前域泛化问题中仍存在一些挑战，即现有方法难以在域不变性和类别可分性之间取得平衡，而这两者至关重要。本文提出了一种新颖的提示学习策略，利用深度视觉提示处理域不变性，同时利用语言提示确保类别可分性，并结合自适应加权机制来平衡域不变性和类别可分性。大量实验表明，深度视觉提示能有效提取域不变特征，显著提升深度模型的泛化能力，并在三个数据集上取得了最先进的性能。
引用
@article{arxiv.2404.18758,
title = {Transitive Vision-Language Prompt Learning for Domain Generalization},
author = {Liyuan Wang and Yan Jin and Zhen Chen and Jinlin Wu and Mengke Li and Yang Lu and Hanzi Wang},
journal= {arXiv preprint arXiv:2404.18758},
year = {2024}
}