结合四元数网络的领域提示学习
计算机视觉与模式识别
2023-12-15 v1 机器学习
应用统计
摘要
提示学习已成为大型视觉语言模型中一种有效且数据高效的技术。然而，在将VLM适配到遥感和医学成像等专业领域时，领域提示学习仍处于未被充分探索的状态。虽然大规模领域特定基础模型有助于应对这一挑战，但它们集中于单一视觉层面，使得同时提示视觉和语言模态变得困难。为了克服这一点，我们提出利用四元数网络，从领域特定基础模型中提取领域特定知识，将VLM的鲁棒识别能力从通用领域迁移到专业领域。具体而言，所提出的方法使用来自领域特定基础模型的领域特定视觉特征，引导语言分支的通用上下文嵌入在四元数网络中转换到专业空间。此外，我们提出了一种层次化方法，通过分析层次化语言提示特征与领域特定视觉特征之间的跨模态关系来生成视觉提示特征。通过这种方式，四元数网络能够有效挖掘特定领域内的跨模态关系，促进领域特定的视觉语言对比学习。在领域特定数据集上的大量实验表明，我们提出的方法在提示学习中取得了新的SOTA结果。
引用
@article{arxiv.2312.08878,
title = {Domain Prompt Learning with Quaternion Networks},
author = {Qinglong Cao and Zhengqin Xu and Yuntian Chen and Chao Ma and Xiaokang Yang},
journal= {arXiv preprint arXiv:2312.08878},
year = {2023}
}