AKRMap：用于交叉模态嵌入可信可视化的自适应核回归
计算机视觉与模式识别
2025-05-29 v2 人工智能
人机交互
机器学习
摘要
交叉模态嵌入是多模态模型的基础。然而，针对交叉模态嵌入的可视化方法主要局限于传统的降维技术，如PCA和t-SNE。这些降维方法主要关注单一模态中特征分布，却未能融合跨多个模态的度量（如CLIPScore）。本文介绍了AKRMap，这是一种新的降维技术，旨在通过学习投影空间中度量景观的核回归，实现更高精度的可视化。具体而言，AKRMap构建一个以投影核回归损失为导向的监督式投影网络，并采用可联合优化的自适应广义核。该方法使AKRMap能够高效生成捕捉复杂度量分布的可视化，同时支持诸如缩放和叠加等交互式功能，以便进行更深入的探索。定量实验表明，AKRMap在生成更准确可信的可视化方面优于现有降维方法。我们进一步展示了AKRMap在可视化和比较文本到图像模型的交叉模态嵌入方面的有效性。代码和演示均可访问于https://github.com/yilinye/AKRMap。
引用
@article{arxiv.2505.14664,
title = {AKRMap: Adaptive Kernel Regression for Trustworthy Visualization of Cross-Modal Embeddings},
author = {Yilin Ye and Junchao Huang and Xingchen Zeng and Jiazhi Xia and Wei Zeng},
journal= {arXiv preprint arXiv:2505.14664},
year = {2025}
}