所有视觉模型生而平等？开环到闭环因果鸿沟的研究
计算机视觉与模式识别
2022-10-11 v1 人工智能
机器学习
神经与进化计算
机器人学
摘要
现代神经网络模型层出不穷，它们能够从视觉观测中高效学习端到端控制。这些先进的深度模型，从卷积网络到基于块的网络，已在离线图像分类与回归任务上得到广泛测试。本文中，我们针对这些视觉架构研究开环到闭环的因果鸿沟，即离线训练后接在线闭环部署。该因果鸿沟通常出现在自动驾驶等机器人应用中，其中网络被训练以模仿人类的控制指令。在此设定下，出现两种情况：1）闭环同分布测试，测试环境与离线训练数据具有共同属性。2）分布偏移与分布外下的闭环测试。与近期报道的结果相反，我们表明在恰当训练准则下，所有视觉模型在同分布部署上表现无差别地良好，从而消解了因果鸿沟。在情况2中，我们观察到无论模型架构如何选择，因果鸿沟都会破坏性能。我们的结果表明，情况一中因果鸿沟可通过我们所提训练准则配合任意现代网络架构解决，而实现分布外泛化（情况二）尚需进一步研究，例如关注数据多样性而非模型架构。
引用
@article{arxiv.2210.04303,
title = {Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap},
author = {Mathias Lechner and Ramin Hasani and Alexander Amini and Tsun-Hsuan Wang and Thomas A. Henzinger and Daniela Rus},
journal= {arXiv preprint arXiv:2210.04303},
year = {2022}
}