中文

基于 Hadamard 参数化的 Kurdyka-Łojasiewicz 指数

最优化与控制 2024-06-18 v2

摘要

我们考虑一类 1\ell_1 正则化优化问题以及基于 Hadamard 参数化(或等价地,Hadamard 差参数化(HDP))构建的相应的光滑“过参数化”优化问题。我们刻画了基于 HDP 的模型的二阶驻点集合并证明它们对应于相应 1\ell_1 正则化模型的某些驻点。更重要的是,我们证明了在适当假设下,基于 HDP 的模型在二阶驻点处的 Kurdyka-Łojasiewicz(KL)指数可以从相应 1\ell_1 正则化模型的 KL 指数推断得出。我们的假设足够一般,涵盖了 1\ell_1 正则化模型中常用的多种损失函数,如最小二乘损失函数和逻辑损失函数。由于文献中许多 1\ell_1 正则化模型的 KL 指数是明确已知的,我们的结果允许我们利用这些已知指数来推断相应基于 HDP 的模型在二阶驻点处的 KL 指数,而这些指数此前是未知的。最后,我们展示了如何将这些在二阶驻点处的明确 KL 指数应用于推断最小化基于 HDP 的模型的标准梯度下降法的明确局部收敛速率。

关键词

引用

@article{arxiv.2402.00377,
  title  = {Kurdyka-{\L}ojasiewicz exponent via Hadamard parametrization},
  author = {Wenqing Ouyang and Yuncheng Liu and Ting Kei Pong and Hao Wang},
  journal= {arXiv preprint arXiv:2402.00377},
  year   = {2024}
}