噪声与随机优化中的主集识别

从靠近最优解的点识别活跃约束在约束连续优化中既在理论上又在实践中都至关重要，因为它可以帮助识别最优拉格朗日乘子，并本质上将不等式约束问题简化为等式约束问题。传统的主集识别保证在光滑性和约束条件满足的假设下证明，并假设函数和导数值精确。本 work 将这些结果扩展到目标函数和约束函数及其导数值具有确定性或随机噪声的情形。提出两种策略，在温和条件下证明，当点足够接近局部最小点且噪声足够小时，这两种策略能正确识别局部最小点的活跃集。还为在随机算法中使用主集识别策略提供保证。我们通过两个简单 illustrative 例子以及更真实的受约束神经网络训练任务来展示我们的发现。