异质双曲 manifolds 上的树状模型对齐

模型对齐对于视觉语言模型(VLM)有效整合跨模态信息至关重要。然而，现有方法从文本中提取层次特征，同时用单个特征表示每个图像，导致不对称且次优的对齐。为此，我们提出了树状对齐(Alignment across Trees)方法，构建和对齐两种图像和文本模态的树状层次特征。具体而言，我们引入一种语义感知的视觉特征提取框架，应用跨注意力机制从视觉类标记中提取特征，由文本线索引导，以细粒度到粗粒度的语义提取视觉特征。随后，我们将两种模态的特征树嵌入具有不同曲率的双曲 manifolds，以有效建模其层次结构。为对齐具有不同曲率的异质双曲 manifolds，我们在分布上构建 KL 距离度量，并通过最小化距离来学习中间manifold进行对齐。我们证明了最优中间manifold的存在性和唯一性。在多个图像数据集上的 taxonomic open-set classification 任务的实验表明，我们的方法在 few-shot 和 cross-domain 设置下 consistently 优于强基准。