基于不确定性估计的最优样本选择及其在深度学习中的应用
机器学习
2023-09-07 v1 机器学习
摘要
现代深度学习高度依赖大规模标注数据集，而这往往在人工标注与计算资源两方面均代价高昂。为缓解这些挑战，研究者已探索使用信息性子集选择技术，包括核心集选择（coreset selection）与主动学习（active learning）。具体而言，核心集选择对带有输入（）与输出（）的数据进行采样，主动学习仅关注输入数据（）。在本研究中，我们针对线性 softmax 回归场景下的核心集选择与主动学习，给出了理论最优解。我们提出的方法 COPS（基于不确定性（unCertainty）的最优子采样（OPtimal Sub-sampling））旨在最小化在子采样数据上训练的模型的期望损失。不同于现有依赖显式计算逆协方差矩阵、难以适用于深度学习场景的方法，COPS 利用模型的对数几率（logits）估计采样比。该采样比与模型不确定性密切相关，可有效应用于深度学习任务。此外，受前人工作启发，我们通过引入对低密度样本的降权方法，解决了模型对误设定的敏感性问题。为评估所提方法的有效性，我们在基准数据集上使用深度神经网络进行了广泛的实证实验。结果一致表明 COPS 相较基线方法具有更优性能，印证了其有效性。
引用
@article{arxiv.2309.02476,
title = {Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning},
author = {Yong Lin and Chen Liu and Chenlu Ye and Qing Lian and Yuan Yao and Tong Zhang},
journal= {arXiv preprint arXiv:2309.02476},
year = {2023}
}