面向弱配对多模态数据的群对比学习
机器学习
2026-02-05 v1 定量方法
机器学习
摘要
我们提出了 GROOVE，这是一种半监督式的多模态表征学习方法，专用于高内容扰动数据。由于样本在不同模态之间通过共享扰动标签进行弱配对，但缺乏直接对应关系，因此该方法适用于此类场景。我们的主要贡献是 GroupCLIP，这是一种新颖的群级对比损失函数，旨在弥合CLIP用于配对跨模态数据与SupCon用于单模态监督对比学习之间的根本性差距，从而解决弱配对情境下对比学习中的关键问题。我们将GroupCLIP与基于动态后向翻译自编码器框架相结合，以鼓励跨模态 entangled 表征的生成，同时保持共享潜在空间内的群级一致性。关键在于，我们引入了一套完整的组合评估框架，对比对齐器进行系统性评估，弥补了现有评估策略中的关键局限性。该框架包括新颖的仿真实验，通过系统性变更共享与模态特异性扰动效应，实现对方法鲁棒性的原则性评估。我们的组合基准测试结果表明，目前尚不存在一种对齐器能够在所有情景和模态对之间统一占据优势。对于两种真实的单细胞基因扰动数据集，GROOVE在下游跨模态匹配和插值任务中，表现出与现有方法持平甚至优于现有方法的水平。我们的消融研究表明，GroupCLIP是驱动性能提升的关键组件。这些结果凸显了在仅具备弱配对条件的情况下，如何通过利用群级约束实现有效的多模态表征学习的重要性。
引用
@article{arxiv.2602.04021,
title = {Group Contrastive Learning for Weakly Paired Multimodal Data},
author = {Aditya Gorla and Hugues Van Assel and Jan-Christian Huetter and Heming Yao and Kyunghyun Cho and Aviv Regev and Russell Littman},
journal= {arXiv preprint arXiv:2602.04021},
year = {2026}
}