识别字典学习的全局最优性
机器学习
2017-08-08 v4 机器学习
摘要
机器学习中输入观测的新表征学习通常通过数据分解来处理。对于许多此类问题，包括稀疏编码和矩阵补全，学习这些分解可能很困难，无论在效率上还是保证解为全局最小。最近引入了一类通用目标——我们称之为诱导字典学习模型（DLMs）——其具有可全局优化的诱导凸形式。尽管理论上吸引人，该诱导形式不实用，尤其对于大型或增长的数据集。本工作中，我们研究对诱导 DLM 使用实用的交替最小化算法，以确保收敛到全局最优。我们刻画了这些模型的驻点，并利用这些见解强调了目标的实用选择。然后我们提供理论和经验证据，表明从随机初始化出发，交替最小化对于诱导 DLM 的一大子类收敛到全局最小。特别地，我们利用（可能未知的）凸诱导形式的存在，来识别何时驻点是字典学习目标函数的全局最小。然后我们针对诱导 DLM 使用交替最小化的实用优化选择进行了经验研究，涵盖批量与随机梯度下降。
引用
@article{arxiv.1604.04942,
title = {Identifying global optimality for dictionary learning},
author = {Lei Le and Martha White},
journal= {arXiv preprint arXiv:1604.04942},
year = {2017}
}
备注
Updates to previous version include a small modification to Proposition 2, to only use normed regularizers, and a modification to the main theorem (previously Theorem 13) to focus on the overcomplete, full rank setting and to better characterize non-differentiable induced regularizers. The theory has been significantly modified since version 1