面向美天工业推荐的可扩展无对齐基础模型 MTFM
信息检索
2026-02-16 v2
摘要
工业推荐系统通常涉及多个场景，而现有的跨域（CDR）和多场景（MSR）方法往往需要巨大的资源且要求严格的输入对齐，限制了其可扩展性。我们提出 MTFM（Meituan Foundation Model for Recommendation），一个基于变换器的框架，以解决这些挑战。MTFM 不需要预先对齐输入，而是将跨域数据转化为异构 token，以无对齐方式捕获多场景知识。为提升效率，我们首先引入多场景用户级样本聚合，显著提升训练吞吐量，减少总实例数。进一步集成分组查询注意力和定制化混合目标注意力，以最小化内存使用和计算复杂度。此外，我们实施了各种系统级优化，如内核融合和消除 CPU-GPU 阻塞，以进一步提升训练和推理吞吐。离线和在线实验验证了 MTFM 的有效性，表明通过扩大模型容量和多场景训练数据的规模可实现显著的性能提升。
引用
@article{arxiv.2602.11235,
title = {MTFM: A Scalable and Alignment-free Foundation Model for Industrial Recommendation in Meituan},
author = {Xin Song and Zhilin Guan and Ruidong Han and Binghao Tang and Tianwen Chen and Bing Li and Zihao Li and Han Zhang and Fei Jiang and Qing Wang and Zikang Xu and Fengyi Li and Chunzhen Jing and Lei Yu and Wei Lin},
journal= {arXiv preprint arXiv:2602.11235},
year = {2026}
}