主动代理估计器：一种用于标签高效模型评估的主动学习方法
机器学习
2022-10-20 v2 机器学习
摘要
我们提出主动代理估计器（ASEs），一种用于标签高效模型评估的新方法。当标签昂贵时，评估模型性能是一个具有挑战性且重要的问题。ASEs 使用基于代理的估计方法来解决这一主动测试问题，该方法对具有未知标签的点的误差进行插值，而非构造蒙特卡洛估计器。ASEs 主动学习底层代理，我们提出一种新的采集策略 XWED，使该学习适配最终的估计任务。我们发现，在应用于深度神经网络具有挑战性的模型评估问题时，ASEs 比当前最先进的方法具有更高的标签效率。
引用
@article{arxiv.2202.06881,
title = {Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation},
author = {Jannik Kossen and Sebastian Farquhar and Yarin Gal and Tom Rainforth},
journal= {arXiv preprint arXiv:2202.06881},
year = {2022}
}
备注
Accepted for publication at NeurIPS 2022