通过模型压缩与并行验证实现基于大语言模型的高效广告
计算与语言
2026-05-13 v1
摘要
大语言模型 (LLM) 在广告创意生成和定向广告等广告场景中显示出巨大潜力。然而，由于推理延迟和计算成本高昂，在实时广告系统中部署 LLM 面临重大挑战。本文提出一个高效生成式定向框架，该框架集成了自适应分组量化、层级自适应分层稀疏化以及前缀树并行验证，以加速 LLM 推理，同时保持生成质量。在两个真实世界广告场景上的大量实验表明，我们的框架在可接受的质量下降下实现了显著加速，使其在实际部署中具有操作可行性。
引用
@article{arxiv.2605.11582,
title = {Efficient LLM-based Advertising via Model Compression and Parallel Verification},
author = {Wenxin Dong and Chang Gao and Guanghui Yu and Xuewu Jiao and Mingqing Hu and Qiang Fu and Peng Xu and Penghui Wei and Hui Xu and Yue Xing and Shuanglong Li and Lin Liu},
journal= {arXiv preprint arXiv:2605.11582},
year = {2026}
}
备注
10 pages, 7 figures, industry paper