具有初始化鲁棒性保证的无训练神经主动学习
机器学习
2023-06-08 v1 人工智能
摘要
现有的神经主动学习算法旨在通过选择数据进行标注来优化神经网络（NNs）的预测性能。然而，除了良好的预测性能外，在安全关键应用中，对随机参数初始化具有鲁棒性也是一项关键要求。为此，我们引入用于神经主动学习的期望方差与高斯过程（EV-GP）准则，该准则在理论上保证所选择的数据点能使得训练后的 NNs 同时具备（a）良好的预测性能与（b）初始化鲁棒性。重要的是，我们的 EV-GP 准则是无训练的，即它在数据选择过程中不需要对 NN 进行任何训练，从而计算高效。我们通过实验证明，我们的 EV-GP 准则与初始化鲁棒性和泛化性能均高度相关，并表明它在两项需求上始终优于基线方法，尤其在初始数据有限或批量较大的情况下。
引用
@article{arxiv.2306.04454,
title = {Training-Free Neural Active Learning with Initialization-Robustness Guarantees},
author = {Apivich Hemachandra and Zhongxiang Dai and Jasraj Singh and See-Kiong Ng and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2306.04454},
year = {2023}
}
备注
Accepted to 40th International Conference on Machine Learning (ICML 2023), 41 pages