面向零样本VQA的CLIP的高维弧形适应参数高效框架HAC
计算机视觉与模式识别
2026-04-28 v1
摘要
表征学习的最新进展表明，双曲几何可作为捕获层次结构并导致更好组织表示的替代方案，优于CLIP模型中使用的欧几里得嵌入。然而，当前的双曲CLIP变体是从头训练的，这在计算上昂贵且资源密集。本文提出了HAC（Hyperbolic Adaptation of CLIP），一个参数高效的框架，使预训练的CLIP模型能够通过轻量级微调过渡到双曲空间。我们将HAC应用于视觉问答（VQA），该任务要求模型解释视觉元素并将其与文本查询对齐。值得注意的是，HAC的训练是在与任何VQA基准都不重叠的数据集上完成的，这导致严格的零样本评估范式，凸显了HAC的任务无关适应性。我们在涵盖通用、推理和OCR类别的多样化VQA基准测试中评估了HAC，HAC-S（小型）和HAC-B（中型）在准确性上持续超过欧几里得基线和以前的双曲方法，其中HAC-B在推理密集型任务上相较于CLIP-B可实现最高达+1.9分的平均改进。我们的代码可在https://github.com/fdibiton/HAC获取。
引用
@article{arxiv.2604.23665,
title = {HAC: Parameter-Efficient Hyperbolic Adaptation of CLIP for Zero-Shot VQA},
author = {Francesco Dibitonto and Cigdem Beyan and Vittorio Murino},
journal= {arXiv preprint arXiv:2604.23665},
year = {2026}
}
备注
This is the preprint version of the paper. The final version has been accepted for publication in the Proceedings of the 28th International Conference on Pattern Recognition (ICPR 2026)