Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

低位前向评估是一种吸引人的零阶 (ZO) 适应方法：优化器仅需要标量损失，且模型可以在部署精度附近进行查询。障碍在于，量化化的 ZO 查询不是随意存储四舍五入的连续有限差分。查询选择端点，低精度引擎对其进行四舍五入，损失差沿着四舍五入的弦测量。对于非均匀压缩化量化器，这使得码本不足以预测 ZO 行为：固定的权重空间半径可以在稠密单元中坍缩，跨越稀疏单元，或将四舍五入的弦分配给未四舍五入的更新方向。我们识别了缺失的对象作为查询几何，并将标量非均匀量化建模为 $Q = \phi^{-1} \circ U \circ \phi$。CAQ-ZO (Compander-Aligned Queries for Zeroth-Order Optimization) 在 $z = \phi(x)$ 中形成一个网格步长的 Rademacher 网格 $z \pm \Delta r$，映射端点通过 $\phi^{-1}$，并在 $z$ 中更新。我们的理论证明了网格跨度不匹配，分解端点四舍五入估计器残差，并给出包含通用离网查询保留 $\Delta^2/\mu^2$ 残差通道，而 CAQ-ZO 使查询时间残差恰好为零的 stationarity 界限。合成实验隔离此通道，匹配的 NF4 Qwen/Llama 微调显示，CAQ-ZO 在相同的量化器和评估预算下，优于经过训练的 NF4 基线。