革新混合精度量化：面向无训练的大语言模型驱动自动代理发现
机器学习
2026-03-06 v2 计算机视觉与模式识别
摘要
混合精度量化使深度神经网络摆脱了显存溢出瓶颈，并已获得越来越多的研究关注。然而，常规方法要么依赖代价高昂的可微分优化搜索，既不高效也不灵活，要么通过人工专家手动设计的代理模型（如 HAWQ）来学习量化后的深度神经网络，这需要大量人力和丰富的专家知识。我们能否在不涉及任何人工专家或训练的情况下设计代理模型？本文通过提出一种新颖的大语言模型驱动的无训练自动代理发现框架（命名为 TAP）给出了肯定答案。TAP 利用大语言模型和进化搜索策略自动为混合精度量化寻找更优的代理模型。此外，为了弥合黑盒大语言模型与具有挑战性的混合精度量化任务之间的差距，我们引入了一种轻量级的基于直接偏好优化的策略控制器，该控制器根据适应度信号动态重新加权进化搜索策略中三种提示模板的选择概率，而无需微调大语言模型。这构成了一个面向任务的反馈循环，改进了代理生成过程。在主流基准上的大量实验表明 TAP 达到了最先进的性能。最后，我们相信 TAP 将通过提供大语言模型驱动设计算法的新视角，显著推动混合精度量化领域的发展。
引用
@article{arxiv.2512.07419,
title = {Revolutionizing Mixed Precision Quantization: Towards Training-free Automatic Proxy Discovery via Large Language Models},
author = {Haidong Kang and Jun Du and Lihong Lin},
journal= {arXiv preprint arXiv:2512.07419},
year = {2026}
}