NEVIS'22：从 30 年计算机视觉研究中采样的 100 个任务流
机器学习
2023-05-18 v2 计算机视觉与模式识别
摘要
持续学习、元学习和迁移学习等多个机器学习共同体的一个共同目标是设计能够高效且鲁棒地适应未见任务的算法与模型。一个更为宏大的目标是构建永不停止适应的模型，并通过恰当地迁移所积累的知识，随时间推移变得越来越高效。除了对学习算法本身和模型架构的研究之外，我们构建此类模型的道路上还存在若干障碍，例如学习协议的选择、成功度量标准以及验证研究假设所需的数据。在本工作中，我们引入了 Never-Ending VIsual-classification Stream (NEVIS'22)，这是一个由超过 100 个视觉分类任务组成的基准流，按时间顺序排列，并从过去三十年计算机视觉会议论文中均匀采样提取而来。由此产生的任务流反映了研究界在任一时刻认为有意义的内容，并作为一个理想的测试平台，用于评估模型适应新任务的能力，以及随时间推移能否更好且更高效地做到这一点。尽管仅限于分类，该任务流具有丰富的任务多样性，从 OCR、纹理分析、场景识别等等不一而足。这种多样性也体现在数据集规模跨度极大，覆盖四个数量级以上。总体而言，由于任务的规模和多样性，NEVIS'22 对当前序列学习方法提出了前所未有的挑战，但由于其仅限于单一模态和易于理解的有监督学习问题，入门门槛较低。此外，我们提供了一个参考实现，包含强基线以及一项评估协议，以在准确率与计算量的权衡方面比较不同方法。
引用
@article{arxiv.2211.11747,
title = {NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research},
author = {Jorg Bornschein and Alexandre Galashov and Ross Hemsley and Amal Rannen-Triki and Yutian Chen and Arslan Chaudhry and Xu Owen He and Arthur Douillard and Massimo Caccia and Qixuang Feng and Jiajun Shen and Sylvestre-Alvise Rebuffi and Kitty Stacpoole and Diego de las Casas and Will Hawkins and Angeliki Lazaridou and Yee Whye Teh and Andrei A. Rusu and Razvan Pascanu and Marc'Aurelio Ranzato},
journal= {arXiv preprint arXiv:2211.11747},
year = {2023}
}