标签平滑是针对模型误设的鲁棒化方法

标签平滑（LS）在分类任务中采用平滑后的目标。例如，在二分类中，传统 logistic 回归（LR）使用独热目标 $(1,0)^\top$，而带 LS 的 LR（LSLR）使用平滑目标 $(1-\frac{\alpha}{2},\frac{\alpha}{2})^\top$，其中平滑水平 $\alpha\in(0,1)$，这会导致 logit 值的压缩。除了将 LS 常见地解释为带来不一致概率估计器的正则化方法外，我们将 LSLR 视为修改损失函数并得到用于概率估计的一致估计器。为研究 LSLR 这两项修改各自的意义，我们引入一种修正的 LSLR（MLSLR），其使用与 LSLR 相同的损失函数、与 LR 相同的一致估计器，但不压缩 logit。对于损失函数修改，我们从理论上证明：在模型正确设定时，平滑水平更大的 MLSLR 效率较低，但在模型误设下比 LR 表现出更高的鲁棒性。此外，对于概率估计器的修改，LSLR 与 MLSLR 的实验比较表明，该修改及 LSLR 中 logit 的压缩对概率估计和分类性能有负面影响。这些比较所提供的对 LS 性质的理解，使我们提出以 MLSLR 作为对 LSLR 的改进。