BCJR-QAT： trellis 编码权重量化的可微放松

trellis 编码量化目前将 LLM (QTIP) 推至 2 位后训练的前沿，但要突破 PTQ 上限仍需进行量化感知训练，而在 trellis 上的 QAT 因不可微的 Viterbi argmax 而受阻。我们引入 BCJR-QAT，通过在温度 $T$ 下采用 BCJR 前向-后向求和-积算法取代 argmax，生成等于布尔oltzmann 期望值 over trellis 路径的软译码器，恰好可微，当 $T \to 0$ 时恢复硬 QTIP 码，且在数学上等价于 1 维 Ising 类自旋链的传递矩阵计算。我们贡献了：(i) 一个融合 Triton 内核，使 BCJR 在单张消费级 GPU 上可实现（fp32 加速 $6.57\times$）；(ii) 量化 drift-预算理论，阐明 BCJR-QAT 何时可逃离 QTIP-PTQ Voronoi 区域，在四项实验中得到验证；(iii) 在 Llama-3.2-1B 2 bpw 下的正向-KL 蒸馏实验结果：通过合理的调度（跳过高 $T$ 阶段以避免我们诊断的超调），单层 BCJR-QAT 在 WikiText-2 上比 QTIP-PTQ 达到 $\mathbf{-0.084}$ PPL，多层叠加表现超线性。