TorchDEQ：深度平衡模型库
机器学习
2023-10-31 v1
摘要
深度平衡（DEQ）模型是一类新兴的隐式模型，将输入映射为神经网络的固定点，在深度学习社区中日益受到关注。然而，当前 DEQ 模型的训练与应用以临时方式进行，各种技术散见于文献中。在本工作中，我们系统性地重访 DEQ 并推出 TorchDEQ，一个基于 PyTorch 的开箱即用库，允许用户以极少代码和最佳实践在多个领域定义、训练和使用 DEQ。利用 TorchDEQ，我们构建了支持六个已发表跨领域隐式模型的“DEQ Zoo”。通过开发融合所有模型最佳实践的联合框架，我们大幅提升了 DEQ Zoo 中全部六个项目在十个数据集上的 DEQ 性能、训练稳定性与效率。TorchDEQ 与 DEQ Zoo 作为 \href{https://github.com/locuslab/torchdeq}{开源} 发布。
引用
@article{arxiv.2310.18605,
title = {TorchDEQ: A Library for Deep Equilibrium Models},
author = {Zhengyang Geng and J. Zico Kolter},
journal= {arXiv preprint arXiv:2310.18605},
year = {2023}
}