利用最优相似性的线性结构对 CLIP 进行理论细化
机器学习
2025-10-20 v1 数值分析
数值分析
机器学习
摘要
本研究提出了对多模态对比预训练框架（如 CLIP）中相似度计算机制的增强。先前的理论研究表明，最优的模态间相似度度量应对应于两种模态之间的点互信息（PMI）。然而，当前 CLIP 及其变体的实现未能充分利用 PMI 的底层线性结构。我们因此提出了 KME-CLIP，通过在再现性希尔伯特空间中的内积来利用这一结构。我们在理论上证明了该方法能够以任意精度逼近 PMI，并通过实验演示了在多个检索和分类任务中，我们的方法整体上优于标准 CLIP 形式。
引用
@article{arxiv.2510.15508,
title = {Theoretical Refinement of CLIP by Utilizing Linear Structure of Optimal Similarity},
author = {Naoki Yoshida and Satoshi Hayakawa and Yuhta Takida and Toshimitsu Uesaka and Hiromi Wakaki and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2510.15508},
year = {2025}
}