一致性深度均衡模型
机器学习
2026-02-04 v1 人工智能
摘要
深度均衡模型（DEQ）已成为深度学习中的强大范例，能够以恒定的内存消耗建模无限深度网络。然而，DEQ 由于其固定点求解器的迭代本质，导致显著的推理延迟。本文我们引入一致性深度均衡模型（C-DEQ），一种新型框架，利用一致性蒸馏加速 DEQ 推理。我们将 DEQ 的迭代推理过程建模为沿固定 ODE 轨迹向平衡点的演化。沿着这一轨迹，我们训练 C-DEQ 能够一致地将中间状态直接映射到固定点，从而在保持教师 DEQ 性能的同时实现少量步骤的推理。同时，这使得多步骤评估能够灵活地在计算和性能之间进行权衡。广泛的实验在各种领域任务上表明，C-DEQ 在相同的少量步骤推理预算下，比隐式 DEQ 实现了持续的 2-20 倍准确性提升。
引用
@article{arxiv.2602.03024,
title = {Consistency Deep Equilibrium Models},
author = {Junchao Lin and Zenan Ling and Jingwen Xu and Robert C. Qiu},
journal= {arXiv preprint arXiv:2602.03024},
year = {2026}
}