基于动作分数的无监督难度估计

随着当前模型被应用于现实世界场景，评估机器学习模型的难度与偏差已变得极为重要。本文提出一种简单方法，基于训练期间每个样本损失的累积来计算难度分数。我们称之为动作分数（action score）。我们提出的方法不需要对模型做任何修改，也不需要任何外部监督，因为它可作为回调实现，从训练过程中收集信息。我们在两种不同设置下测试并分析了我们的方法：图像分类和目标检测，并且我们表明在这两种设置中动作分数都能提供关于模型和数据集偏差的洞见。