用深度不确定性网络解决主动学习中的偏差……还是没有
机器学习
2021-12-15 v1 机器学习
摘要
Farquhar等人[2021]表明，对欠参数化模型的主动学习偏差进行校正可提升下游性能。然而，对于如神经网络（NNs）等过参数化模型，校正要么导致性能下降，要么无变化。他们提出这是由于一种“过拟合偏差”抵消了主动学习偏差。我们表明，深度不确定性网络运行于低过拟合机制中，很像欠参数化模型。因此，它们应能在偏差校正后看到性能提升。令人惊讶的是，它们并没有。我们提出，这一负面结果以及Farquhar等人[2021]的结果，均可通过泛化误差的偏差-方差分解视角加以解释。
引用
@article{arxiv.2112.06926,
title = {Addressing Bias in Active Learning with Depth Uncertainty Networks... or Not},
author = {Chelsea Murray and James U. Allingham and Javier Antorán and José Miguel Hernández-Lobato},
journal= {arXiv preprint arXiv:2112.06926},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2112.06796