关于漂移视觉域下开放世界识别的挑战
计算机视觉与模式识别
2021-07-12 v1 机器人学
摘要
在野外运行的机器人视觉系统必须在无约束场景中行动,面对不同环境条件以及包括未知概念在内的多种语义概念。为此,近期工作试图赋予视觉对象识别方法以下能力:i) 检测未见概念,以及 ii) 随着新语义类图像到来而随时间扩展其知识。这一称为开放世界识别(OWR)的设置,旨在产生能够打破初始训练集中语义限制的系统。然而,该训练集不仅通过其自身语义限制,也通过其环境限制对系统施加约束,因为其偏向于某些采集条件,而这些条件未必反映真实世界的高变异性。训练与测试分布之间的这种差异称为域偏移(domain-shift)。本文研究 OWR 算法在域偏移下是否有效,提出首个公平评估有/无域偏移时 OWR 算法性能的基准设置。我们随后使用该基准在多种场景下进行分析,表明现有 OWR 算法在训练与测试分布不同时确实遭受严重的性能退化。我们的分析显示,将 OWR 与域泛化技术结合仅轻微缓解该退化,表明单纯即插即用现有算法不足以在未见域中识别新的与未知类别。我们的结果明确指向开放问题及未来研究方向,需加以探究以构建能在这些具挑战性却非常真实条件下可靠运行的机器人视觉系统。代码见 https://github.com/DarioFontanel/OWR-VisualDomains
引用
@article{arxiv.2107.04461,
title = {On the Challenges of Open World Recognitionunder Shifting Visual Domains},
author = {Dario Fontanel and Fabio Cermelli and Massimiliano Mancini and Barbara Caputo},
journal= {arXiv preprint arXiv:2107.04461},
year = {2021}
}
备注
RAL/ICRA 2021