交叉熵损失函数：理论分析与应用

交叉熵是应用中广泛使用的损失函数。当使用 softmax 时，它与作用于神经网络输出的 logistic 损失一致。但是，将交叉熵用作替代损失时，我们能依赖何种保证？我们给出了一大类损失函数（comp-sum 损失）的理论分析，其包含交叉熵（或 logistic 损失）、广义交叉熵、平均绝对误差及其他类交叉熵损失函数。我们给出了这些损失函数的首个 $H$-一致性界。这些是非渐近保证，针对所用特定假设集 $H$，将零一损失的估计误差以其替代损失的估计误差为上界。我们进一步表明所得到的界是紧的。这些界依赖于称为可最小化间隙的量。为使其更明确，我们给出了 comp-sum 损失下这些间隙的具体分析。我们还引入了一类新的损失函数，平滑对抗 comp-sum 损失，由对应的 comp-sum 损失通过加入相关平滑项导出。我们证明这些损失函数在对抗设定下有益，即证明它们容许 $H$-一致性界。这导致了新的对抗鲁棒性算法，其由最小化正则化平滑对抗 comp-sum 损失构成。尽管我们的主要目的是理论分析，我们也给出了比较 comp-sum 损失的广泛实证分析。我们进一步报告了一系列实验的结果，表明我们的对抗鲁棒性算法优于当前最优方法，同时取得了更优的非对抗准确率。