利用高通和低通滤波器改进单点零阶优化
最优化与控制
2022-06-20 v5 系统与控制
系统与控制
摘要
单点零阶优化（SZO）在解决时变环境中的在线黑箱优化和控制问题时非常有用，因为它在每个时间步仅查询一次函数值。然而，已知普通的SZO方法存在估计方差大和收敛速度慢的问题，这严重限制了其实际应用。在这项工作中，我们借鉴了极值搜索控制（SZO的连续时间版本）中高通和低通滤波器的思想，并通过集成这些滤波器开发了一种称为HLF-SZO的新型SZO方法。结果表明，高通滤波器与残差反馈方法一致，而低通滤波器可以解释为动量方法。因此，所提出的HLF-SZO方法实现了比普通SZO方法小得多的方差和快得多的收敛速度，并且在经验上优于残差反馈SZO方法，这一点通过广泛的数值实验得到了验证。
引用
@article{arxiv.2111.01701,
title = {Improve Single-Point Zeroth-Order Optimization Using High-Pass and Low-Pass Filters},
author = {Xin Chen and Yujie Tang and Na Li},
journal= {arXiv preprint arXiv:2111.01701},
year = {2022}
}