SOLARIS：基于潜在表示的推测卸载用于推理扩展
机器学习
2026-04-15 v1
摘要
最近的推荐扩展规律研究导致了前沿模型规模的不断增大。虽然这些模型提供了卓越的性能，但其计算需求使得实时服务变得不可行，常迫使用者依赖知识蒸馏，这会牺牲服务质量以换取效率。为了解决这一挑战，我们提出 SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling)，一种受推测解码启发的新型框架。SOLARIS 主动预计算用户-物品交互嵌入，通过预测哪些用户-物品对很可能出现在未来的请求中，异步地生成它们的前沿模型表示。这一方法将昂贵的前沿模型推理从延迟关键的服务路径中解耦，使之前被视为过于昂贵而无法在线使用的模型能够实现实时知识传递。该工具已部署在 Meta 的广告系统中，每日服务数十亿请求，SOLARIS 实现了 0.67% 的收入驱动型核心指标提升，展示了其在规模化方面的有效性。
引用
@article{arxiv.2604.12110,
title = {SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling},
author = {Zikun Liu and Liang Luo and Qianru Li and Zhengyu Zhang and Wei Ling and Jingyi Shen and Zeliang Chen and Yaning Huang and Jingxian Huang and Abdallah Aboelela and Chonglin Sun and Feifan Gu and Fenggang Wu and Hang Qu and Huayu Li and Jill Pan and Kaidi Pei and Laming Chen and Longhao Jin and Qin Huang and Tongyi Tang and Varna Puvvada and Wenlin Chen and Xiaohan Wei and Xu Cao and Yantao Yao and Yuan Jin and Yunchen Pu and Yuxin Chen and Zijian Shen and Zhengkai Zhang and Dong Liang and Ellie Wen},
journal= {arXiv preprint arXiv:2604.12110},
year = {2026}
}
备注
Accepted to SIGIR 2026 Industry Track