CaReFlow：用于多模态融合的循环自适应整流流

模态间隙显著限制了多模态融合的效果。以往方法常使用扩散模型和对抗学习等技术来缩小模态间隙，但它们通常仅关注一对一对齐，而未使源模态的数据点暴露于目标模态的全局分布信息。为此，基于整流流可通过直线轨迹将一个分布映射到另一个分布的特性，我们将整流流扩展用于模态分布映射。具体而言，我们利用整流流中的\textquotedblleft one-to-many mapping\textquotedblright 策略，使源模态的每个数据点都能观察目标分布的整体情况。这也缓解了每个样本内配对数据不足的问题，使分布转换更加稳健。此外，为实现更精确的分布映射并解决一对多映射中模糊的流方向问题，我们设计了\textquotedblleft adaptive relaxed alignment\textquotedblright， 对属于同一样本的模态对实施更严格的对齐，同时对不属于同一样本或相同类别的模态对应用松�的映射。此外，为防止分布映射期间信息丢失，我们引入\textquotedblleft cyclic rectified flow\textquotedblright，以确保转换后的特征可以翻译回原始特征，使多模态表示能够学习到足够的模态特定信息。在完成分布对齐后，我们的方法在多个多模态情感计算任务上取得了非常具竞争力的结果， visualization结果也证实了其有效减少模态间隙的能力。