$\ell_1$-最小化完备字典学习中的唯一尖锐局部极小
机器学习
2019-02-25 v1 机器学习
摘要
我们研究通过 -最小化从一组信号全局恢复字典的问题。我们假设信号是由完备参考字典 中 个原子经 i.i.d. 随机线性组合生成,其中线性组合系数来自伯努利型模型或精确稀疏模型。首先,我们得到参考字典 成为期望 目标函数的尖锐局部极小的充要条件范数条件。我们的结果大幅推广了 Wu 与 Yu(2015)的结果,并允许组合系数非负。其次,我们得到参考字典目标值最小的区域的显式界。第三,我们证明参考字典是唯一尖锐局部极小,从而确立了 -最小化字典学习的首个已知全局性质。受理论结果启发,我们引入一种基于扰动的检验以判定某字典是否为目标函数的尖锐局部极小。此外,我们还提出一种基于块坐标下降的新字典学习算法,称为 DL-BCD,其被保证具有单调收敛性。仿真研究表明,相较于许多最先进(state-of-the-art)的字典学习算法,DL-BCD 在恢复率方面具有竞争性能。
引用
@article{arxiv.1902.08380,
title = {Unique Sharp Local Minimum in $\ell_1$-minimization Complete Dictionary Learning},
author = {Yu Wang and Siqi Wu and Bin Yu},
journal= {arXiv preprint arXiv:1902.08380},
year = {2019}
}