随机时变函数的命中时间分析及其在马尔可夫决策过程计算对抗攻击中的应用
最优化与控制
2023-02-23 v1
摘要
随机时变优化是学习中不可或缺的一部分，其中函数形状以非确定性方式随时间变化。本文考虑多种随机时变模型，并分析各模型对应的命中时间概念，即优化随机时变函数揭示目标函数优化中具信息量统计量的时段。所研究的时变模型受马尔可夫决策过程中值迭代计算的对抗攻击启发。在该应用中，命中时间量化了计算对对抗扰动的鲁棒程度。我们通过分析时变模型中出现的收缩-扩张变换，给出了命中时间的上界。我们证明，在具有概率性收缩-扩张变换的值迭代中，值函数的命中时间关于期望精度的倒数为对数级。此外，针对未知连续或离散时变函数的优化，分析了其随时间揭示含噪函数值的命中时间。连续函数的上界关于期望精度倒数呈超二次（但次三次）级，离散函数的上界关于函数域基数为对数级。我们得到了凸函数的改进界，并表明此类函数比非凸函数学习更快。最后，我们研究了一种带加性噪声的时变线性模型，其中命中时间由形状主导性概念界定。
引用
@article{arxiv.2302.11190,
title = {A Hitting Time Analysis for Stochastic Time-Varying Functions with Applications to Adversarial Attacks on Computation of Markov Decision Processes},
author = {Ali Yekkehkhany and Han Feng and Donghao Ying and Javad Lavaei},
journal= {arXiv preprint arXiv:2302.11190},
year = {2023}
}