带预算约束的批量多保真主动学习
机器学习
2022-10-25 v1
摘要
学习高维输出函数在许多应用中至关重要，例如物理仿真与工程设计。然而，为这些应用收集训练样本通常代价高昂，例如通过运行数值求解器。近期工作(Li et al., 2022)提出了首个面向高维输出的多保真主动学习方法，其可在不同保真度获取样本以降低成本同时提升学习性能。然而，该方法一次仅查询一对保真度与输入，因此存在引入强相关样本从而降低学习效率的风险。本文中，我们提出带预算约束的批量多保真主动学习(BMFAL-BC)，其可在尊重批量查询给定预算约束的同时提升训练样本多样性以改善效费比。因此，我们的方法更具实际效用。具体而言，我们提出一种新颖的批量获取函数，衡量批量多保真查询与目标函数间的互信息，从而惩罚高度相关查询并鼓励多样性。批量获取函数的优化具有挑战性，因其涉及在预算约束下对多保真度的组合搜索。为应对该挑战，我们开发了加权贪婪算法，可依次确定每个(保真度, 输入)对，同时实现最优解的近-近似。我们在若干计算物理与工程应用中展示了方法的优势。
引用
@article{arxiv.2210.12704,
title = {Batch Multi-Fidelity Active Learning with Budget Constraints},
author = {Shibo Li and Jeff M. Phillips and Xin Yu and Robert M. Kirby and Shandian Zhe},
journal= {arXiv preprint arXiv:2210.12704},
year = {2022}
}