直通估计遇稀疏恢复：支撑集探索算法
机器学习
2024-06-26 v3 人工智能
最优化与控制
统计理论
统计理论
摘要
直通估计器（straight-through estimator, STE）常用于优化量化神经网络，尽管其实证成功，其有效性能的背景仍不清楚。为在这一理解上向前推进一步，我们将STE应用于一个被充分理解的问题：稀疏支撑集恢复。我们引入了支撑集探索算法（Support Exploration Algorithm, SEA），一种促进稀疏性的新算法，并分析了其在支撑集恢复（又称模型选择）问题中的性能。SEA比最先进方法探索更多的支撑集，从而在实验中取得更优性能，尤其在的列强相干时。理论分析考虑了当线性测量矩阵满足受限等距性质（Restricted Isometry Property, RIP）时的恢复保证。恢复的充分条件与稀疏支撑集恢复中最先进方法相当但更严格。其意义主要在于可适用于STE的一个实例。
引用
@article{arxiv.2301.13584,
title = {Straight-Through meets Sparse Recovery: the Support Exploration Algorithm},
author = {Mimoun Mohamed and François Malgouyres and Valentin Emiya and Caroline Chaux},
journal= {arXiv preprint arXiv:2301.13584},
year = {2024}
}