GenKL：一种基于新型广义 KL 散度解决网络图像中标签歧义与标签非一致性的迭代框架

在线整理的网络图像数据集天然包含模糊的分布内（ID）样本与分布外（OOD）样本，我们统称为非一致（NC）样本。在近期许多缓解 NC 样本负面影响的方案中，其核心隐含假设是可通过熵最大化来发现 NC 样本。为使“熵”有良好定义，我们将某样本的输出预测向量解释为具有 softmax 输出层的已训练模型下多项随机变量的参数向量。因此，熵最大化基于一种理想化假设：NC 样本的预测“几乎”均匀分布。然而，在真实世界网络图像数据集中，存在大量预测远非均匀分布的 NC 样本。为克服熵最大化的局限，我们提出 $(\alpha, \beta)$-广义 KL 散度 $\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$，可用于识别显著更多的 NC 样本。我们证明了 $\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$ 的理论性质，并经验性地表明简单使用 $\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$ 在 NC 样本识别任务上优于所有基线。基于 $(\alpha,\beta)$-广义 KL 散度，我们还引入了新迭代训练框架 GenKL，用于识别并重新标注 NC 样本。在 Clothing1M、Food101/Food101N 和 mini WebVision 1.0 三个网络图像数据集上评估时，我们分别取得了新的最优分类准确率：$81.34\%$、$85.73\%$ 和 $78.99\%$/ $92.54\%$（top-1/top-5）。