多尺度深度平衡模型
机器学习
2020-11-25 v2 计算机视觉与模式识别
机器学习
摘要
我们提出一类新的隐式网络——多尺度深度平衡模型（MDEQ），适用于大规模且高度层次化的模式识别领域。MDEQ直接求解并通过对多个特征分辨率的平衡点进行反向传播，利用隐式微分避免存储中间状态（从而仅需 内存消耗）。这些同时学习的多分辨率特征使我们能够在多种任务和损失函数上训练单一模型，例如使用单个MDEQ同时执行图像分类与语义分割。我们在两个大规模视觉任务上展示了该方法的有效性：ImageNet分类与Cityscapes数据集高分辨率图像的语义分割。在两种设定下，MDEQ均能匹配或超越近期具竞争力的计算机视觉模型性能：这是隐式深度学习方法首次达到此类性能与规模。代码与预训练模型见 https://github.com/locuslab/mdeq 。
引用
@article{arxiv.2006.08656,
title = {Multiscale Deep Equilibrium Models},
author = {Shaojie Bai and Vladlen Koltun and J. Zico Kolter},
journal= {arXiv preprint arXiv:2006.08656},
year = {2020}
}
备注
NeurIPS 2020 Oral