基于贝叶斯层次建模的主动学习回归中探索-利用权衡的动态平衡
机器学习
2023-10-03 v2 机器学习
摘要
主动学习提供了一种自适应查询最具信息量的实验以学习未知黑盒函数的框架。文献中已提出多种主动学习方法，然而它们要么侧重于设计空间中的探索，要么侧重于利用。同时考虑探索与利用的方法采用固定或临时的度量来控制权衡，这可能并非最优。在本文中，我们开发了一种称为BHEEM的贝叶斯层次方法，以在查询更多数据点时动态平衡探索-利用权衡。为了从权衡参数的后验分布中采样，我们随后基于所查询数据在特征空间中的线性依赖关系，构建了一种近似贝叶斯计算方法。模拟和真实世界的例子表明，与纯探索和纯利用策略相比，所提方法分别实现了至少21%和11%的平均改进。更重要的是，我们注意到通过最优地平衡探索与利用之间的权衡，BHEEM表现优于或至少不差于纯探索或纯利用。
引用
@article{arxiv.2304.07665,
title = {Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling},
author = {Upala Junaida Islam and Kamran Paynabar and George Runger and Ashif Sikandar Iquebal},
journal= {arXiv preprint arXiv:2304.07665},
year = {2023}
}
备注
30 pages, 10 figures, 0 table, submitted to IISE Transaction