基于有限和损失函数随机信任域算法的调查
最优化与控制
2024-04-23 v1
摘要
本文对TRust-region-ish (TRish)算法进行了详尽分析，这是Curtis等人提出用于有限和损失函数最小化的随机优化方法[Curtis2019, Curtis2022]。文中提出补充文献中结果的理论分析，并研究了涉及的超参数调优问题。本研究还关注该方法的一个实用版本，该版本通过内积测试和正交性测试[Bollapragada2018]计算随机梯度。实验结果表明，该实现改进了TRish的性能，降低了其对超参数选择的敏感性。
关键词
引用
@article{arxiv.2404.13382,
title = {An investigation of stochastic trust-region based algorithms for finite-sum minimization},
author = {Stefania Bellavia and Benedetta Morini and Simone Rebegoldi},
journal= {arXiv preprint arXiv:2404.13382},
year = {2024}
}