矩阵-free 最小二乘求解器：数值、梯度及其应用
机器学习
2025-10-23 v1 数值分析
数值分析
摘要
本文认为，最小二乘方法在现代机器学习中仍具未发挥的潜力，这一潜力远超仅作为线性模型拟合工具。为释放其潜力，我们推导自定义梯度，将求解器转化为类似神经网络层的可微运算符，从而实现多样化的应用。实验结果表明：(i)通过对5000万参数模型强制稀疏实现可扩展性；(ii)在基于得分的生成模型中施加保守性约束；(iii)基于预测性能进行高斯过程的超参数调优。通过此举，我们的工作代表了可微线性代数工具开发的下一阶段，使其广泛可及于机器学习实践者。
引用
@article{arxiv.2510.19634,
title = {Matrix-Free Least Squares Solvers: Values, Gradients, and What to Do With Them},
author = {Hrittik Roy and Søren Hauberg and Nicholas Krämer},
journal= {arXiv preprint arXiv:2510.19634},
year = {2025}
}