面向多模态分子表示学习的结构感知融合与渐进注入
机器学习
2025-10-29 v1 人工智能
摘要
多模态分子模型常常 suffer from 3D conformer 可靠性不足和模态坍缩，限制了其鲁棒性和泛化能力。我们提出了 MuMo，一个结构感知的多模态融合框架，通过两种关键策略来解决这些挑战。为了减少基于 conformer 的融合的不稳定性，我们设计了结构融合管道（SFP），将 2D 拓扑和 3D 几何整合为统一且稳定的结构先验。为了缓解由简单融合导致的模态坍缩，我们引入了渐进注入（PI）机制，以非对称方式将该先验注入序列流中，既保留了模态特定的建模，又实现了跨模态的丰富。基于状态空间背板，MuMo 支持长程依赖建模和稳健的信息传播。在来自 Therapeutics Data Commons（TDC）和 MoleculeNet 的 29 个基准任务上，MuMo 在每个任务上的最佳基线上的平均提升达到了 2.7%，在 22 个任务中名列前茅，其中包括在 LD50 任务上提升 27%。这些结果验证了其对 3D conformer 噪声的鲁棒性以及多模态融合在分子表示中的有效性。代码可在 github.com/selmiss/MuMo 获取。
引用
@article{arxiv.2510.23640,
title = {Structure-Aware Fusion with Progressive Injection for Multimodal Molecular Representation Learning},
author = {Zihao Jing and Yan Sun and Yan Yi Li and Sugitha Janarthanan and Alana Deng and Pingzhao Hu},
journal= {arXiv preprint arXiv:2510.23640},
year = {2025}
}
备注
Accepted by NeurIPS 2025