基于Dropout的Rashomon集探索用于高效预测多重性估计

预测多重性是指分类任务中可能存在多个竞争模型，这些模型达到几乎同等最优性能，但对个别样本产生冲突输出的现象。这引发了重大担忧，因为它可能导致实际应用中的系统性排斥、无法解释的歧视和不公平。然而，测量和缓解预测多重性在计算上具有挑战性，因为需要探索所有这样的几乎同等最优模型（称为Rashomon集），而假设空间可能非常巨大。为了解决这一挑战，我们提出了一种新颖的框架，利用dropout技术探索Rashomon集中的模型。我们提供了严格的理论推导，将dropout参数与Rashomon集的性质联系起来，并通过大量实验对我们的框架进行了实证评估。数值结果表明，我们的技术在预测多重性度量估计的有效性方面始终优于基线，运行速度提升高达20倍到5000倍。通过高效的Rashomon集探索和度量估计，通过dropout集成和模型选择实现了预测多重性的缓解。