NF4并非信息论最优(而这恰是好事)
机器学习
2023-06-16 v2
摘要
本笔记分享了与基于absmax的分块量化相关的一些简单计算和实验,如Dettmers等人(2023)所用。他们提出的NF4数据类型被称为在表示正态分布权重时是信息论最优的。我指出这不可能完全成立,因为待量化值的分布依赖于块大小。我尝试应用这些见解来推导一种改进编码,其基于最小化期望L1重建误差,而非基于分位数的方法。这在较大量化块大小下带来了性能提升,而在较小块大小下两种编码表现相似。
引用
@article{arxiv.2306.06965,
title = {NF4 Isn't Information Theoretically Optimal (and that's Good)},
author = {Davis Yoshida},
journal= {arXiv preprint arXiv:2306.06965},
year = {2023}
}
备注
Added author contact info and fixed typos