LoopFM：基于基础模型历史表示学习用于推荐
机器学习
2026-05-29 v1 人工智能
信息检索
摘要
知识蒸馏（KD）将大型基础模型（FM）传输的单一标量预测转移到紧凑垂直模型（VM），但随着单一标量无法传递更大 FM 学习的丰富中间知识，导致传输比例递减——即 FM 所获改进的比例被 VM 捕获。为解决这一瓶颈，我们提出 LoopFM（Learning frOm HistOrical ReP*esentations of FM），通过将 FM 中间嵌入结构化为输入特征（如用户历史序列）用于下游 VM，构建高带宽传输通道，而无需在服务时进行实时 FM 推断，也无需在 FM 和 VM 之间进行架构耦合。我们提供了 LoopFM 的理论框架，包括增益分解和传输比例分析。在三个公开基准上，LoopFM 展示出强劲的 AUC 提升（如在淘宝广告上提升 6%+），并证明其对 KD 的补充知识传输能力。在工业规模系统（数十亿样本，三万亿参数 FM）上，LoopFM 在 KD 基础上约翻倍知识传输比例，为 Y1H1 带来 0.5% 的转化率提升，分别在 Y1H2 中带来 1.03% 和 1.22% 的转化率提升。
引用
@article{arxiv.2605.29280,
title = {LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation},
author = {Shali Jiang and Hua Zheng and Boyang Liu and Laming Chen and Kenny Lov and Chuanqi Xu and Lisang Ding and Qinghai Zhou and Can Cui and Xiaolong Liu and Xiaoyi Liu and Yasmine Badr and Xin Xu and Jiyan Yang and Ellie Dingqiao Wen and Gerard Jonathan Mugisha Akkerhuis and Chenxiao Guan and Rong Jin and Ruichao Qiu and Xian Chen and Shifu Xu and Zhehui Zhou and Ping Chen and Rui Yang and Haicheng Chen and Xiangge Meng and Song Zhou and Dharak Kharod and Shuyu Xu and Qiang Jin and Qiao Yang and Wankun Zhu and Qin Huang and Yuzhen Huang and Darren Liu and Parish Aggarwal and Hui Zhou and Erzhuo Wang and Shuo Chang and Xiaorui Gan and Wenlin Chen and Santanu Kolay and Huayu Li},
journal= {arXiv preprint arXiv:2605.29280},
year = {2026}
}
备注
Shali Jiang, Hua Zheng, Boyang Liu contributed equally to this work