重访隐式模型：权重绑定模型在视觉任务中的稀疏性-能力权衡
机器学习
2023-10-23 v2 计算机视觉与模式识别
摘要
深度平衡模型（DEQs）等隐式模型因能够以优雅的求解过程和恒定内存足迹训练无限层模型而受到学界广泛关注。然而，尽管已有若干尝试，这些方法仍严重受限于模型低效与优化不稳定。此外，针对视觉任务的相关方法缺乏公平的基准评测。本文重访隐式模型脉络，并将其追溯至最初的权重绑定模型。令人惊讶的是，我们发现相较于DEQ变体，权重绑定模型在视觉任务上更有效、稳定且高效。借助这些简洁干净的权重绑定模型，我们进一步研究了此类模型容量的基本局限，并提出使用不同的稀疏掩码以提升模型容量。最后，针对实践者，我们提供了关于权重绑定模型的深度、宽度与稀疏度选择的设计准则，并展示了我们的见解对其他学习范式的泛化能力。
引用
@article{arxiv.2307.08013,
title = {Revisiting Implicit Models: Sparsity Trade-offs Capability in Weight-tied Model for Vision Tasks},
author = {Haobo Song and Soumajit Majumder and Tao Lin},
journal= {arXiv preprint arXiv:2307.08013},
year = {2023}
}