基于加权专家乘积的无损文本压缩测试时引导
计算与语言
2025-11-17 v1 人工智能
信息论
math.IT
摘要
无损压缩技术在数据快速增长的时代至关重要。传统通用压缩器如 gzip 具有低计算开销、高速度和广泛适用性，但常常不如现代神经压缩器——后者利用大规模训练数据更有效地建模数据分布。尽管具有上述优势，神经压缩器在面对未见数据时仍难以泛化。为此，我们提出一种新框架，在推断时通过加权专家乘积 (wPoE) 执行测试时引导。该方法自适应地组合通用压缩模型和预训练神经语言模型，确保压缩率至少与最佳单一模型相当。广泛实验表明，该方法在不要求微调的情况下提升了文本压缩性能。此外，它无缝集成到任何自回归语言模型中，为在 diverse 数据分布上增强文本压缩提供了实用解决方案。
引用
@article{arxiv.2511.10660,
title = {Test-Time Steering for Lossless Text Compression via Weighted Product of Experts},
author = {Qihang Zhang and Muchen Li and Ziao Wang and Renjie Liao and Lele Wang},
journal= {arXiv preprint arXiv:2511.10660},
year = {2025}
}
备注
8 pages. Accepted by EMNLP 2025. Code and additional details are available at: https://qihang-zhang.com/Learning-Sys-Blog/2025/10/15/weighted-product-of-experts.html