CLEAR 基准:真实世界图像上的持续学习
计算机视觉与模式识别
2022-06-10 v3 人工智能
机器学习
摘要
持续学习(CL)被广泛视为终身 AI 的关键挑战。然而,现有 CL 基准(如 Permuted-MNIST 与 Split-CIFAR)利用人为时间变化,不与真实世界对齐或泛化至真实世界。本文中,我们引入 CLEAR,首个具有真实世界视觉概念自然时间演化、跨度十年(2004-2014)的持续图像分类基准数据集。我们通过一种新颖且可扩展的低成本视觉-语言数据集构建方法,从现有大规模图像集(YFCC100M)构建 CLEAR。我们的流程利用预训练视觉-语言模型(如 CLIP)交互式构建标注数据集,并进一步通过众包验证以剔除错误甚至不适当图像(隐藏于原始 YFCC100M 中)。CLEAR 相较先前 CL 基准的主要优势在于具真实世界图像、平滑时间演化的视觉概念,包含每时段高质量标注数据及丰富未标注样本以用于持续半监督学习。我们发现简单无监督预训练步骤即可提升仅利用全监督数据的最优 CL 算法。我们的分析还揭示,在 iid 数据上训练与测试的主流 CL 评测协议人为夸大了 CL 系统性能。为此,我们提出新颖的 CL “流式”协议,始终在(近)未来测试。有趣的是,流式协议(a)可简化数据集构建,因今日测试集可转作明日训练集;(b)可产生更具泛化性模型与更准确性能估计,因各时段所有标注数据均用于训练与测试(不同于经典 iid 训练-测试划分)。
引用
@article{arxiv.2201.06289,
title = {The CLEAR Benchmark: Continual LEArning on Real-World Imagery},
author = {Zhiqiu Lin and Jia Shi and Deepak Pathak and Deva Ramanan},
journal= {arXiv preprint arXiv:2201.06289},
year = {2022}
}
备注
Project site: https://clear-benchmark.github.io