为何选择 Gabor 框架？两种基本相干性度量及其在模型选择中的作用
统计理论
2018-03-06 v3 信息论
math.IT
机器学习
统计理论
摘要
本文研究一般情形下任意设计矩阵和信号任意非零元时的非渐近模型选择。为此，它推广了现有模型选择文献中非相干性的概念，并引入了设计矩阵列之间的两种基本相干性度量——称为最坏情况相干性和平均相干性。利用这两种相干性度量，本文对一种简单的、模型阶次无关的单步阈值（OST）算法进行了深入分析，并证明只要设计矩阵满足一个易于验证的性质，OST 对于精确和部分模型选择都是可行的。由此分析得出的一个关键见解是，即使基于凸优化（如 lasso）的方法因设计矩阵子矩阵的秩亏而失败，OST 也能成功进行模型选择。此外，本文还证明，如果设计矩阵具有相当小的最坏情况相干性和平均相干性，那么当 (i) 信号任何非零元的能量接近每个非零元的平均信号能量，或 (ii) 测量系统中的信噪比不太高时，OST 的性能接近最优。最后，本文的另外两个关键贡献是：(i) 给出了高斯矩阵和 Gabor 框架平均相干性的界，(ii) 将基于 OST 的模型选择结果推广到具有任意非零元的稀疏信号的低复杂度、模型阶次无关恢复。
引用
@article{arxiv.1006.0719,
title = {Why Gabor Frames? Two Fundamental Measures of Coherence and Their Role in Model Selection},
author = {Waheed U. Bajwa and Robert Calderbank and Sina Jafarpour},
journal= {arXiv preprint arXiv:1006.0719},
year = {2018}
}
备注
31 pages, 4 figures; This paper is a full-length journal version of a shorter paper that was presented at the IEEE International Symposium on Information Theory, Austin, TX, June 2010