规模化量化的引人注目特性
机器学习
2023-05-31 v1 人工智能
摘要
涌现特性已被广泛用作描述较小模型中不存在但在较大模型中观察到的行为的术语。近期工作表明，量化所带来的权衡也是一项涌现特性，在超过 60 亿参数的模型中性能急剧下降。在本工作中，我们追问“性能上的量化悬崖是否仅仅是规模的因素？”在针对为何某些涌现特性在规模上浮现的研究关注增加的背景下，本工作提供了一个有用的反例。我们假定，可以优化一种量化友好的训练方案以抑制大的激活幅值异常值。此处，我们发现异常维度并非规模的固有产物，而是对预训练期间存在的优化条件敏感。这既为更高效量化开辟了方向，也提出了其他涌现特性是固有的还是可通过优化与架构设计选择改变和调节的问题。我们成功量化了从 4.1 亿到 520 亿参数规模的模型，性能退化极小。
引用
@article{arxiv.2305.19268,
title = {Intriguing Properties of Quantization at Scale},
author = {Arash Ahmadian and Saurabh Dash and Hongyu Chen and Bharat Venkitesh and Stephen Gou and Phil Blunsom and Ahmet Üstün and Sara Hooker},
journal= {arXiv preprint arXiv:2305.19268},
year = {2023}
}
备注
32 pages, 14 figures