可逆深度平衡模型
机器学习
2025-12-04 v2 机器学习
摘要
深度平衡模型（DEQ）是一类有趣的隐式模型，其模型输出被隐式定义为学习函数的固定点。这些模型已被证明通过将许多深层替换为多次迭代的单层，在大规模任务中优于显式（固定深度）模型。然而，通过DEQ进行的梯度计算是近似的。这常常导致不稳定的训练动态，并需要正则化或多次函数评估来修复。在此，我们引入了可逆深度平衡模型（RevDEQ），它允许精确的梯度计算，无需正则化，且所需的函数评估次数远少于DEQ。我们证明，在语言建模和图像分类任务上，RevDEQ相较于可比的隐式和显式模型显著提升了性能。
引用
@article{arxiv.2509.12917,
title = {Reversible Deep Equilibrium Models},
author = {Sam McCallum and Kamran Arora and James Foster},
journal= {arXiv preprint arXiv:2509.12917},
year = {2025}
}