重新思考 GSPO：困惑度-熵的等价性

我们以新的视角审视 GSPO 的长度归一化重要性比值，通过建立其与信息论量的联系。我们指出，GSPO 的序列级权重 $s(\theta) = (\pi_\theta/\pi_{\theta_{\text{old}}})^{1/|y|}$ 可以等价地表示为逆困惑度比值 $\text{PPL}_{\theta_{\text{old}}}/\text{PPL}_\theta$ 和指数交叉熵变化 $\exp(\Delta H)$。虽然困惑度-熵关系源于标准定义，但这一观察为理解 GSPO 提供了有用的视角：该算法通过困惑度比率对策略梯度更新进行加权，提供了重要性权重的信息论解释。这一视角有助于解释 GSPO 的实证特性，包括通过几何平均实现的对数域方差缩减以及在训练混合专家模型时的稳定性。我们通过在数学推理任务上的控制实验验证了数学等价性和方差预测。