隐式深度学习中的“像训练那样测试”
机器学习
2023-05-25 v1 机器学习
摘要
隐式深度学习近来广受欢迎，其应用范围从元学习到深度平衡网络（DEQ）。在其一般表述中，它依赖于隐式表达深度学习流水线的某些组件，通常通过一个称为内部问题的根方程。在实践中，内部问题的解在训练期间通过迭代过程近似，通常使用固定数量的内迭代。在推理时，需要用新数据求解内部问题。一种流行观点认为，与训练时相比增加内迭代次数会带来更好性能。在本文中，我们质疑这一假设，并在简单设定下提供详细的理论分析。我们证明过参数化起关键作用：在测试时增加迭代次数无法改善过参数化网络的性能。我们在一系列隐式深度学习问题上验证了我们的理论。通常过参数化的 DEQ 不会从推理时增加迭代次数中获益，而通常不过参数化的元学习则从中获益。
引用
@article{arxiv.2305.15042,
title = {Test like you Train in Implicit Deep Learning},
author = {Zaccharie Ramzi and Pierre Ablin and Gabriel Peyré and Thomas Moreau},
journal= {arXiv preprint arXiv:2305.15042},
year = {2023}
}