过实现字典学习中的恢复与泛化
机器学习
2020-12-03 v2 机器学习
摘要
在二十余年的研究中，字典学习领域积累了大量成功应用，而模型恢复的理论保证仅在优化于与底层字典相同模型类中进行时才为人所知。本工作刻画了一种令人惊讶的现象：通过在大得多的过实现模型空间中搜索，反而可以促进字典恢复。该观察具有一般性，且与所使用的具体字典学习算法无关。我们在实践中充分证明了这一观察，并通过将恢复度量与泛化界相联系来分析该现象。特别地，我们表明模型恢复可由经验风险、一个模型相关量以及泛化差距上界限定，这与我们的实证发现相符。我们进一步表明，可采用一种高效且可证明正确的蒸馏方法从过实现模型中恢复正确的原子。因此，我们的元算法所提供的字典估计能持续更好地恢复真实模型。
引用
@article{arxiv.2006.06179,
title = {Recovery and Generalization in Over-Realized Dictionary Learning},
author = {Jeremias Sulam and Chong You and Zhihui Zhu},
journal= {arXiv preprint arXiv:2006.06179},
year = {2020}
}