克罗内克结构化字典学习的极小极大下界
信息论
2018-03-06 v1 机器学习
math.IT
机器学习
摘要
字典学习是估计原子元素集合的问题,这些原子元素为测量/收集的信号或数据提供稀疏表示。本文通过证明极小极大风险的下界,找到了张量数据字典估计的样本复杂度的根本限制。该下界取决于张量的维度和生成模型的参数。本文重点关注二阶张量数据,其底层字典通过取两个较小字典的克罗内克积构建,观测数据由通过白高斯噪声观测到的字典原子的稀疏线性组合生成。在这方面,本文提供了极小极大风险的一般下界,并调整了证明技术以使用稀疏和高斯系数模型得到等价结果。报告的结果表明,张量数据的字典学习的样本复杂度可显著低于非结构化数据的样本复杂度。
引用
@article{arxiv.1605.05284,
title = {Minimax Lower Bounds for Kronecker-Structured Dictionary Learning},
author = {Zahra Shakeri and Waheed U. Bajwa and Anand D. Sarwate},
journal= {arXiv preprint arXiv:1605.05284},
year = {2018}
}
备注
5 pages, 1 figure. To appear in 2016 IEEE International Symposium on Information Theory