回归问题中随机草图算法的基于代理模型的自动调参
机器学习
2025-01-13 v2 人工智能
摘要
来自随机数值线性代数(RandNLA)的算法在处理高维计算问题时已知是有效的，提供高质量的经验性能以及强概率保证。然而，它们的实际应用因用户需要设置各种算法特定的调参参数而变得复杂，这些参数不同于传统NLA中使用的参数。本文展示了基于代理模型的自动调参方法如何用于解决RandNLA算法中参数选择的基本问题。特别地，我们提供了针对基于草图与预条件(SAP)的随机最小二乘方法的基于代理模型的自动调参的详细研究，该方法已成为现代RandNLA中的重大成功之一。经验结果表明，我们的基于代理模型的自动调参方法能够以比随机搜索少得多的调参代价（不同参数配置试验最多减少约4倍）实现近最优性能。此外，虽然我们的实验聚焦于最小二乘，我们的结果展示了适用于任何类型RandNLA算法的通用自动调参流程。
引用
@article{arxiv.2308.15720,
title = {Surrogate-based Autotuning for Randomized Sketching Algorithms in Regression Problems},
author = {Younghyun Cho and James W. Demmel and Michał Dereziński and Haoyun Li and Hengrui Luo and Michael W. Mahoney and Riley J. Murray},
journal= {arXiv preprint arXiv:2308.15720},
year = {2025}
}
备注
Improved the presentation and clarity. Updated experimental results and scenarios. Accepted for publication in SIAM Journal on Matrix Analysis and Applications