超参数调优即 LISTA 之所需
机器学习
2021-11-01 v1 机器学习
摘要
Learned Iterative Shrinkage-Thresholding Algorithm（LISTA，学习化迭代收缩阈值算法）引入了将迭代算法展开并像神经网络一样训练的概念。它在稀疏恢复上取得了巨大成功。在本文中，我们展示在 LISTA 网络的中间变量中加入动量可获得更好的收敛速率，特别地，具有实例最优参数的网络是超线性收敛的。此外，我们的新理论结果导向一种实用方法，可基于前层自动自适应地计算 LISTA 网络层的参数。或许最令人惊讶的是，这样一种自适应参数过程将 LISTA 的训练简化为仅从数据调优三个超参数：这在近期精简 LISTA 复杂度的进展中创下新纪录。我们称这一新的超轻量网络为 HyperLISTA。与最先进的 LISTA 模型相比，HyperLISTA 在已见数据分布上取得几乎相同的性能，并在未见分布（具体地，具有不同稀疏度水平与非零幅值的那些）上测试时表现更优。代码可用：https://github.com/VITA-Group/HyperLISTA。
引用
@article{arxiv.2110.15900,
title = {Hyperparameter Tuning is All You Need for LISTA},
author = {Xiaohan Chen and Jialin Liu and Zhangyang Wang and Wotao Yin},
journal= {arXiv preprint arXiv:2110.15900},
year = {2021}
}
备注
Accepted at NeurIPS 2021