PyTorch 超参数调优——spotPython 教程

超参数调优（或超参数优化）的目标是优化超参数以提升机器学习或深度学习模型的性能。spotPython（「Sequential Parameter Optimization Toolbox in Python」）是知名超参数调优器 SPOT 的 Python 版本，后者在用于统计分析的 R 编程环境中已开发十余年。PyTorch 是一个利用 GPU 和 CPU 进行深度学习的优化张量库。本文档展示了如何将 spotPython 超参数调优器集成到 PyTorch 训练工作流中。作为示例，使用了 CIFAR10 图像分类器的结果。除介绍 spotPython 外，本教程还简要比较了用于运行实验和调优超参数的 Python 库 Ray Tune。该比较基于 PyTorch 超参数调优教程。讨论了两种方法的优缺点。我们表明，spotPython 在取得相似甚至更优结果的同时，比 Ray Tune 更灵活、更透明。