WAVECLIP：基于小波分解的自适应分辨率 CLIP
计算机视觉与模式识别
2025-09-26 v1 人工智能
多媒体
摘要
我们提出了 WAVECLIP—a 单一统一模型，用于 CLIP 中的自适应分辨率推断，由小波分解实现。WAVECLIP 用多层小波分解取代标准的 patch 嵌入，使模型能够从粗到细处理图像，同时在同一模型中自然支持多分辨率。在推断时，模型从低分辨率 token 开始，仅在需要时进行细化，通过关键值缓存和因果跨层注意力复用计算，有效地仅引入新信息。我们在零样本分类中评估了 WAVECLIP，演示了一种简单的基于置信度的门控机制实现自适应早期退出。这允许用户在单个已部署模型中动态选择计算-精度权衡。我们的做法仅需轻量级蒸馏即可从冻结的 CLIP 教师模型中获得，实现了具竞争性能的精度，并实现了显著的计算节省。
引用
@article{arxiv.2509.21153,
title = {WAVECLIP: Wavelet Tokenization for Adaptive-Resolution CLIP},
author = {Moshe Kimhi and Erez Koifman and Ehud Rivlin and Eli Schwartz and Chaim Baskin},
journal= {arXiv preprint arXiv:2509.21153},
year = {2025}
}