当核函数相乘，簇聚统一：基于Kronecker积的嵌入融合
机器学习
2025-10-31 v2
摘要
最先进的嵌入表示往往捕捉不同且互补的判别性特征：例如，一个图像嵌入模型可能在区分细粒度纹理方面表现突出，而另一个则专注于物体级别的结构。基于此观察，我们提出了一种通过核函数相乘来融合此类互补表征的原则方法。将两个嵌入的核相似性函数相乘，允许它们的判别结构发生交互，从而产生一个融合后的表示，其核函数编码了每个父嵌入所识别的簇的并集。该表述还提供了一种自然的方式，用于构建来自成对多模态数据的联合核函数（例如，图像-文本元组），其中特定模态的核函数乘积继承了两个域的结构。我们指出，这一核乘积在数学上通过嵌入特征图的Kronecker积来实现，由此得到我们提出的KrossFuse框架用于嵌入融合。为解决由于 resulting 高维Kronecker空间计算成本的问题，我们进一步开发了RP-KrossFuse，这是一种利用随机投影进行高效近似的可扩展变体。作为一个关键应用，我们使用该框架来弥合跨模态嵌入（如CLIP、BLIP）与单模态专家（如DINOv2、E5）之间的性能差距。实验表明，RP-KrossFuse有效地整合了这些模型，同时保持了跨模态对齐，提升了模态特定的性能。项目代码可在 https://github.com/yokiwuuu/KrossFuse 查看。
关键词
引用
@article{arxiv.2506.08645,
title = {When Kernels Multiply, Clusters Unify: Fusing Embeddings with the Kronecker Product},
author = {Youqi Wu and Jingwei Zhang and Farzan Farnia},
journal= {arXiv preprint arXiv:2506.08645},
year = {2025}
}