INFN Cloud上的超参数优化即服务

并行化复杂机器学习模型训练的最简单且通常最有效的方法，是在多台机器上执行多个训练实例，扫描超参数空间以优化底层统计模型和学习过程。通常，这种元学习过程受到安全访问一个组织先前和正在进行试验知识的通用数据库的能力的限制。在设计此类优化活动时，利用不同环境中提供的机会性GPU构成了进一步的挑战。在本贡献中，我们讨论了如何使用一组REST API，通过简单的HTTP请求，访问基于INFN Cloud的专用服务，以无梯度优化技术监控和协调多个训练实例。该服务名为Hopaas（超参数优化即服务，Hyperparameter OPtimization As A Service），由一个Web界面和一组API组成，这些API通过FastAPI后端实现，运行在INFN Cloud虚拟实例中的Uvicorn和NGINX上。优化算法目前基于Optuna提供的贝叶斯技术。还提供了一个Python前端用于快速原型设计。我们展示了结合私有资源、INFN Cloud和CINECA资源进行的超参数优化活动的应用。这种多节点多站点优化研究显著推动了LHCb实验超快模拟的一组参数化方案的开发。