TSEmbed：解锁通用多模态嵌入中的任务规模化
计算与语言
2026-03-06 v1 人工智能
摘要
尽管多模态大语言模型 (MLLM) 在推理能力方面表现卓越，但其向通用嵌入模型的转化仍受任务冲突的严重阻碍。为此，我们提出了 TSEmbed，这是一个能够通过将混合专家 (MoE) 与低秩适配 (LoRA) 结合的通用多模态嵌入框架，以显式方式分离冲突的任务目标。此外，我们引入了专家感知负采样 (EANS)，这是一种新策略，利用专家路由分布作为语义相似性的内在代理。通过动态优先选择与查询共享专家激活模式的具有信息性的硬负样本，EANS 有效提升了模型的判别能力并细化了嵌入边界。为确保训练稳定性，我们进一步设计了两阶段学习范例，以在通过 EANS 优化表征之前巩固专家的专业化。TSEmbed 在 Massive Multimodal Embedding Benchmark (MMEB) 和真实工业生产数据集上实现了最先进的性能，为通用多模态嵌入中的任务级规模化奠定了基础。
引用
@article{arxiv.2603.04772,
title = {TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings},
author = {Yebo Wu and Feng Liu and Ziwei Xie and Zhiyuan Liu and Changwang Zhang and Jun Wang and Li Li},
journal= {arXiv preprint arXiv:2603.04772},
year = {2026}
}