Benchopt：可复现、高效且协作的优化基准
机器学习
2022-10-31 v3 最优化与控制
机器学习
摘要
数值验证是机器学习研究的核心，因为它能够评估新方法的实际影响，并确认理论与实践的一致性。然而，该领域的快速发展带来了若干挑战：研究者面临大量待比较的方法、最佳实践缺乏透明度和共识，以及繁琐的重复实现工作。因此，验证往往非常片面，可能导致错误的结论并减缓研究进展。我们提出 Benchopt，一个跨编程语言和硬件架构自动化、复现并发布机器学习优化基准的协作框架。Benchopt 通过提供开箱即用的工具来运行、共享和扩展实验，简化了社区的基准测试。为展示其广泛可用性，我们在三个标准学习任务上展示了基准： 正则化逻辑回归、Lasso 以及用于图像分类的 ResNet18 训练。这些基准突出了关键的实际发现，对这些问题的前沿技术给出了更细致的看法，表明在实际评估中细节决定成败。我们希望 Benchopt 能促进社区协作，从而提高研究发现的可复现性。
引用
@article{arxiv.2206.13424,
title = {Benchopt: Reproducible, efficient and collaborative optimization benchmarks},
author = {Thomas Moreau and Mathurin Massias and Alexandre Gramfort and Pierre Ablin and Pierre-Antoine Bannier and Benjamin Charlier and Mathieu Dagréou and Tom Dupré la Tour and Ghislain Durif and Cassio F. Dantas and Quentin Klopfenstein and Johan Larsson and En Lai and Tanguy Lefort and Benoit Malézieux and Badr Moufad and Binh T. Nguyen and Alain Rakotomamonjy and Zaccharie Ramzi and Joseph Salmon and Samuel Vaiter},
journal= {arXiv preprint arXiv:2206.13424},
year = {2022}
}
备注
Accepted in proceedings of NeurIPS 22; Benchopt library documentation is available at https://benchopt.github.io/