高维输出的深度多保真主动学习
机器学习
2021-10-27 v2
摘要
许多应用，如物理仿真与工程设计，要求我们估计具有高维输出的函数。训练样本可以不同保真度收集，以实现成本/精度权衡。本文考虑主动学习任务，即确定需查询新训练样本的保真度与输入，从而获得最佳效益-成本比。为此，我们提出 DMFAL，一种深度多保真主动学习方法。我们首先开发基于深度神经网络的多保真模型用于高维输出学习，其可灵活、高效地捕捉输出与保真度间各类复杂关系以改进预测。随后我们提出基于互信息的采集函数，扩展了预测熵原理。为克服由大输出维度引起的计算挑战，我们使用多元 Delta 方法与矩匹配估计输出后验，并利用 Weinstein-Aronszajn 恒等式计算与优化采集函数。该计算是可处理、可靠且高效的。我们在计算物理与工程设计的若干应用中展示了方法的优势。
引用
@article{arxiv.2012.00901,
title = {Deep Multi-Fidelity Active Learning of High-dimensional Outputs},
author = {Shibo Li and Robert M. Kirby and Shandian Zhe},
journal= {arXiv preprint arXiv:2012.00901},
year = {2021}
}