程序数据分布偏移下的预测不确定性估计

深度学习 (DL) 技术在各种任务的预测准确率上取得了巨大成功，但已证明深度神经网络 (DNN) 甚至对异常样本也会产生高度过度自信的分数。定义明确的不确定性指示了模型的输出是否应该被信任，因此在通常由于许多因素导致输入分布发生偏移的现实场景中变得至关重要。现有的不确定性方法假设来自不同数据分布的测试样本会导致不可靠的模型预测，从而具有更高的不确定性分数。它们通过校准 DL 模型对给定输入的置信度来量化模型不确定性，并在计算机视觉 (CV) 和自然语言处理 (NLP) 相关任务中评估其有效性。然而，由于数据表示和偏移模式的差异，其方法在编程任务下的可靠性可能会受到损害。在本文中，我们首先定义了程序数据中三种不同类型的分布偏移，并构建了一个大规模偏移 Java 数据集。我们在我们的数据集上实现了两个常见的编程语言任务，以研究每种分布偏移对 DL 模型性能的影响。我们还提出了一个针对编程任务的现有 SOTA 预测不确定性大规模基准，并研究了它们在数据分布偏移下的有效性。实验表明，程序分布偏移确实会在不同程度上降低 DL 模型的性能，并且现有的不确定性方法在量化程序数据集上的不确定性时都表现出一定的局限性。