面向结构化多模态表示的 S3：通过混合专家实现专业化、选择与稀疏化
机器学习
2026-05-07 v2 人工智能
摘要
我们提出了 S3（Specialization, Selection, Sparsification，专业化、选择、稀疏化），一个从结构化视角重新思考多模态学习的框架。与将所有信号编码到固定嵌入不同，S3 将多模态输入分解为语义专家，并针对每个任务选择性地对其进行路由。专业化在共享潜在空间中形成概念级别的专家，选择为任务特定需求调整路由，稀疏化剪枝低效用路径，从而产生紧凑且信息最小化的表示。在四个 MultiBench 基准测试中，S3 提升了准确率，并在稀疏性与性能之间呈现出持续的反 U 形趋势，在中等稀疏度时达到最佳性能。这些结果表明，将结构化多模态表示建模为可选择的语义组件，为对比学习或 InfoMax 驱动的方法提供了实用且原则化的替代方案。
引用
@article{arxiv.2605.03348,
title = {Toward Structural Multimodal Representations: Specialization, Selection, and Sparsification via Mixture-of-Experts},
author = {Hahyeon Choi and Nojun Kwak},
journal= {arXiv preprint arXiv:2605.03348},
year = {2026}
}
备注
Published at ICML 2026