MOON3.0：面向电商产品理解的推理感知多模态表征学习
机器学习
2026-04-03 v2 人工智能
计算机视觉与模式识别
信息检索
摘要
随着电商的快速发展，探索通用表征而非任务特定表征正受到越来越多的关注。虽然最近的多模态大语言模型 (MLLM) 在产品理解方面取得了显著进展，但它们通常被用作特征提取器，通过隐式地将产品信息编码为全局表征，从而限制了其捕获细粒度属性的能力。因此，我们认为利用 MLLM 的推理能力来显式建模细粒度产品属性具有重要潜力。然而，实现这一目标仍面临诸多挑战：(i) 长上下文推理倾向于稀释模型对原始输入中关键信息的注意力；(ii) 监督微调 (SFT) 主要鼓励刚性模仿，限制了探索有效推理策略的空间；(iii) 细粒度细节在前向传播过程中逐渐被稀释。为此，我们提出了 MOON3.0，是首个基于推理感知的 MLLM 用于产品表征学习的方法。我们的 方法 (1) 采用多头模态融合模块来自适应整合原始信号；(2) 引入联合对比学习和强化学习框架，以自主探索更有效的推理策略；(3) 引入细粒度残差增强模块，以在网络各层持续保留局部细节。此外，我们发布了一个大规模多模态电商基准数据集 MBE3.0。实验表明，我们的模型在我们构建的基准以及公开数据集上的各种下游任务中实现了零样本状态-of-the-art 性能。
引用
@article{arxiv.2604.00513,
title = {MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding},
author = {Junxian Wu and Chenghan Fu and Zhanheng Nie and Daoze Zhang and Bowen Wan and Wanxian Guan and Chuan Yu and Jian Xu and Bo Zheng},
journal= {arXiv preprint arXiv:2604.00513},
year = {2026}
}
备注
10 pages, 6 figures