适用性过滤器：面向真实部署场景的分类器评估统计框架

在安全关键领域部署机器学习模型带来了一个关键挑战：在无法获取真实标签进行直接验证的情况下，确保模型在下游用户数据上的性能可靠。我们提出了适用性过滤器，这是一种新颖的框架，旨在利用适用性信号——对协变量偏移敏感且能指示潜在预测错误的模型输出特征——来检测性能退化。适用性过滤器用于评估分类器在无标签用户数据上的准确率，相较于在有标签测试数据集上测得的准确率是否出现显著下降。具体而言，它确保这种下降不超过预设的裕度，该裕度代表了可接受的最大准确率降幅。为了实现可靠的性能评估，我们聚合测试数据和用户数据的适用性信号，并利用统计假设检验比较这些经验分布，从而提供对决策不确定性的洞察。我们的模块化方法可适应各种模型和领域。跨不同分类任务的经验评估表明，适用性过滤器能够可靠地检测由协变量偏移导致的性能偏差。这使得在应用中能够主动缓解高风险应用中的潜在故障。