面向科学计算的鲁棒深度主动学习探究
机器学习
2022-10-04 v2 人工智能
摘要
深度学习(DL)正在给科学计算领域带来变革。为缩小数据鸿沟,主动学习已被视为科学计算领域深度学习的一种有前景的解决方案。然而,深度主动学习(DAL)文献主要由图像分类问题和基于池的方法主导。本文研究基于池的DAL方法在科学计算问题(以回归为主,深度神经网络正日益被用于其中)上的鲁棒性。我们表明,现代基于池的DAL方法都共享一个不可调的超参数,称为池比率,记为 ,文献中常假定其先验已知。我们评估了五种最先进DAL方法在六个基准问题上的性能,假设 先验未知——这对科学计算问题而言是更现实的假设。我们的结果表明,这降低了现代DAL方法的性能,且它们有时甚至比随机采样表现更差,在真实世界场景中应用时产生显著的不确定性。为克服该局限,我们提出了据我们所知首个面向回归的查询合成DAL方法,称为NA-QBC。NA-QBC去除了敏感的 超参数,我们发现其在基准问题上平均优于其他DAL方法。关键在于,NA-QBC始终优于随机采样,提供了更鲁棒的性能增益。
引用
@article{arxiv.2201.12632,
title = {Towards Robust Deep Active Learning for Scientific Computing},
author = {Simiao Ren and Yang Deng and Willie J. Padilla and Jordan Malof},
journal= {arXiv preprint arXiv:2201.12632},
year = {2022}
}