Lottery LLM 假设：重新思考 LLM 压缩应保留的能力
机器学习
2025-02-26 v1 人工智能
计算与语言
形式语言与自动机理论
摘要
受降低 LLM 计算与存储成本的动机驱使，模型压缩与 KV cache 压缩引起了研究者的广泛关注。然而，当前的方法主要强调维持压缩后 LLM 的性能，这通常是通过在常识知识问答和基础算术推理任务上的困惑度或简单准确率来衡量的。在这篇博客中，我们简要回顾了 LLM 在检索增强生成、多步推理、外部工具和计算表达力方面的最新进展，这些都大幅提升了 LLM 的性能。接着，我们提出了 Lottery LLM 假设，指出对于给定的 LLM 和任务，存在一个更小的 Lottery LLM，能够在多步推理和外部工具的辅助下产生与原始 LLM 相同的性能。基于对 LLM 当前进展的回顾，我们讨论并总结了 Lottery LLM 和 KV cache 压缩必须具备的核心能力，这些能力在现有方法中被普遍忽视。
引用
@article{arxiv.2502.17535,
title = {The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?},
author = {Zhenheng Tang and Xiang Liu and Qian Wang and Peijie Dong and Bingsheng He and Xiaowen Chu and Bo Li},
journal= {arXiv preprint arXiv:2502.17535},
year = {2025}
}