Bencher：面向黑盒优化的简单且可复现的基准测试
机器学习
2025-05-28 v1
摘要
我们提出了 Bencher，一个用于黑盒优化的模块化基准测试框架，从根本上将基准测试执行与优化逻辑解耦。与以往专注于在单个项目中结合许多基准测试的套件不同，Bencher 引入了清晰的抽象边界：每个基准测试都隔离在其自己的虚拟 Python 环境中，并通过统一的、版本无关的远程过程调用（RPC）接口进行访问。这种设计消除了依赖冲突，并简化了具有复杂且冲突软件要求的多样化现实世界基准测试的集成。Bencher 可以通过 Docker 在本地或远程部署，或者通过 Singularity 部署在高性能计算（HPC）集群上，为任何基准测试提供容器化的、可复现的运行时。其轻量级客户端需要最少的设置，并支持在连续、分类和二元域的 80 个基准测试中进行即插即用的评估。
引用
@article{arxiv.2505.21321,
title = {Bencher: Simple and Reproducible Benchmarking for Black-Box Optimization},
author = {Leonard Papenmeier and Luigi Nardi},
journal= {arXiv preprint arXiv:2505.21321},
year = {2025}
}
备注
7 pages, 1 figure