ASTRO-DF：一类用于无导数随机优化的自适应采样信赖域算法
最优化与控制
2016-10-21 v1 数值分析
统计方法学
摘要
我们考虑无约束优化问题，其中仅能通过蒙特卡洛预言机提供的重复样本来观测目标函数的“随机”估计值。假设该蒙特卡洛预言机不提供函数梯度的直接观测。我们提出 ASTRO-DF——一类无导数信赖域算法，其中随机局部插值模型被迭代地构建、优化和更新。ASTRO-DF 中的函数估计与模型构建具有自适应性，即蒙特卡洛采样的程度由持续监测并平衡采样误差（或方差）与结构误差（或模型偏差）的指标来决定。这种误差平衡机制旨在确保 ASTRO-DF 内的蒙特卡洛工作量对算法轨迹敏感：当推断迭代点接近临界点时增加采样，远离时减少采样。我们证明了在使用线性或二次随机插值模型时，ASTRO-DF 的迭代点几乎必然收敛于一阶临界点。关于结合自适应采样使用更复杂模型（如回归或随机克里金法）的问题值得进一步研究，并将受益于本文提出的证明方法。我们推测 ASTRO-DF 的迭代点能达到标准的蒙特卡洛收敛速率，尽管相关证明尚待解决。
引用
@article{arxiv.1610.06506,
title = {ASTRO-DF: A Class of Adaptive Sampling Trust-Region Algorithms for Derivative-Free Stochastic Optimization},
author = {Sara Shashaani and Fatemeh Hashemi and Raghu Pasupathy},
journal= {arXiv preprint arXiv:1610.06506},
year = {2016}
}
备注
27 pages, no figures