GRIT：通用鲁棒图像任务基准
计算机视觉与模式识别
2022-05-04 v2
摘要
计算机视觉模型在测试分布与训练分布高度相似时擅长进行预测。此类模型尚无法匹配生物视觉从多源学习并泛化到新数据源与任务的能力。为促进更通用视觉系统的开发与评估，我们引入了通用鲁棒图像任务（GRIT）基准。GRIT 在多种图像预测任务、概念与数据源上评估视觉系统的性能、鲁棒性与校准能力。GRIT 中的七项任务被选以涵盖一系列视觉技能：物体分类、物体定位、指代表达式定位、视觉问答、分割、人体关键点检测与表面法线估计。GRIT 经过精心设计，以支持在图像扰动、图像源分布偏移与概念分布偏移下的鲁棒性评估。通过提供统一平台以全面评估视觉模型所学技能与概念，我们希望 GRIT 能推动高性能且鲁棒的通用视觉系统的发展。
引用
@article{arxiv.2204.13653,
title = {GRIT: General Robust Image Task Benchmark},
author = {Tanmay Gupta and Ryan Marten and Aniruddha Kembhavi and Derek Hoiem},
journal= {arXiv preprint arXiv:2204.13653},
year = {2022}
}