ProM3E: 面向生态学的概率掩码多模态嵌入模型
计算机视觉与模式识别
2025-11-06 v1
摘要
我们介绍了 ProM3E，一种用于生态学中任意到任意生成多模态表示的概率掩码多模态嵌入模型。ProM3E 基于嵌入空间中的掩码模态重建，学习在给定少量上下文模态的情况下推断缺失的模态。通过设计，我们的模型支持嵌入空间中的模态反转。我们模型的概率性质使我们能够分析融合各种模态以完成给定下游任务的可行性，本质上是学习融合什么。利用我们模型的这些特性，我们提出了一种新颖的跨模态检索方法，该方法混合了模态间和模态内的相似性，从而在所有检索任务中实现了卓越的性能。我们进一步利用我们模型的隐藏表示来执行线性探测任务，并展示了我们模型优越的表示学习能力。我们所有的代码、数据集和模型都将在 https://vishu26.github.io/prom3e 发布。
引用
@article{arxiv.2511.02946,
title = {ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology},
author = {Srikumar Sastry and Subash Khanal and Aayush Dhakal and Jiayu Lin and Dan Cher and Phoenix Jarosz and Nathan Jacobs},
journal= {arXiv preprint arXiv:2511.02946},
year = {2025}
}
备注
21 pages, 16 figures