用于鲁棒主动学习的唯一 Rashomon 集合
机器学习
2025-03-13 v2 机器学习
摘要
为机器学习模型收集带标签数据通常既昂贵又耗时。主动学习通过选择性地标记最具信息量的观测数据来应对这一挑战，但当初始带标签数据有限时，很难将真正具有信息量的数据点与那些主要因噪声而显得不确定的数据点区分开来。诸如随机森林之类的集成方法是量化这种不确定性的有力手段，但其通过无差别地聚合所有模型来实现，这包括了表现不佳的模型和冗余的模型，这一问题在存在噪声数据时会更加严重。我们引入了唯一 Rashomon 集成主动学习（UNREAL），它仅从 Rashomon 集合（即近乎最优的模型集合）中选择性地集成不同的模型。将集成成员限制为具有不同解释的高性能模型，有助于区分真正的不确定性与噪声引起的变化。我们证明，UNREAL 比传统的主动学习方法实现了更快的理论收敛速率，并在五个基准数据集上展现出预测准确率高达 20% 的经验性提升，同时增强了模型的可解释性。
引用
@article{arxiv.2503.06770,
title = {Unique Rashomon Sets for Robust Active Learning},
author = {Simon Nguyen and Kentaro Hoffman and Tyler McCormick},
journal= {arXiv preprint arXiv:2503.06770},
year = {2025}
}