中文

ALMAB-DC:基于主动学习、多臂老虎机与分布式计算的序列实验设计与黑箱优化

机器学习 2026-04-13 v3 统计计算 统计方法学 机器学习

摘要

在高成本、无梯度的目标下进行序列实验设计是计算统计学中的核心挑战:评估预算受到严格限制,必须从每个观察中高效提取信息。我们提出了\textbf{ALMAB-DC},一个基于高斯过程的序列设计框架,结合主动学习、多臂老虎机(MAB)和分布式异步计算,用于高成本黑箱实验。高斯过程代理模型结合不确定性感知的获取函数识别信息丰富的查询点;UCB或Thompson抽样老虎机控制器在并行工作者之间分配评估;异步调度器处理异构运行时间。我们给出老虎机组件的累积后悔界,并通过阿姆拉斯定律刻画并行可扩展性。我们在五个基准测试中对ALMAB-DC进行了验证。在两个统计实验设计任务中,ALMAB-DC在剂量-反应优化中的简单后悔低于等间距、随机和D-最优设计,在自适应空间场估计中匹配Greedy Max-Variance基准同时优于拉丁超立方抽样;在K=4的分布式设置下,仅用四分之一的序列墙钟轮次即可达到目标性能。在三个机器学习/工程任务(CIFAR-10超参数优化、CFD阻力最小化、MuJoCo强化学习)中,ALMAB-DC实现了93.4%的CIFAR-10准确率(超越BOHB高出1.7个百分点,Optuna高出1.1个百分点),将机翼阻力降至CD=0.059C_D = 0.059(低于网格搜索的36.9%),并使强化学习回报比网格搜索提高50%。所有与非ALMAB基线相比的优势在Bonferroni校正的曼-惠特neyU检验下均为统计显著。分布式执行在K=16个代理下实现7.5倍加速,符合阿姆拉斯定律。

关键词

引用

@article{arxiv.2603.21180,
  title  = {ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization},
  author = {Foo Hui-Mean and Yuan-chin I Chang},
  journal= {arXiv preprint arXiv:2603.21180},
  year   = {2026}
}

备注

33 pages, and 13 figures