大规模在线用户响应预测的高效跨架构知识迁移
人工智能
2026-02-03 v1 机器学习
摘要
在大规模用户响应预测系统中部署新架构会因在海量历史数据上昂贵的重新训练以及数据保留限制下的性能下降而产生高额模型切换成本。现有知识蒸馏方法在架构异构性和大规模嵌入表迁移成本方面都难以满足需求。我们提出CrossAdapt，一个两阶段的高效跨架构知识迁移框架。离线阶段通过维度自适应投影实现快速嵌入迁移，无需迭代训练，同时结合渐进式网络蒸馏和策略性抽样以降低计算成本。在线阶段引入非对称协助蒸馏，其中学生模型更新频率高而教师模型更新频率低，搭配基于分布感知的适应机制，动态平衡历史知识保留与对新兴数据的快速适应。在三个公开数据集上的实验表明，CrossAdapt实现了0.27-0.43%的AUC提升，训练时间缩短43-71%。在 Tencent 微信频道（约1000万日样本）的大规模部署进一步证明了其有效性，显著降低了与标准蒸馏基线相比的AUC降幅、LogLoss增加以及预测偏差。
引用
@article{arxiv.2602.01775,
title = {Efficient Cross-Architecture Knowledge Transfer for Large-Scale Online User Response Prediction},
author = {Yucheng Wu and Yuekui Yang and Hongzheng Li and Anan Liu and Jian Xiao and Junjie Zhai and Huan Yu and Shaoping Ma and Leye Wang},
journal= {arXiv preprint arXiv:2602.01775},
year = {2026}
}
备注
15 pages