像标注者一样思考:数据集标注指令的生成
计算机视觉与模式识别
2023-06-27 v1
摘要
大规模数据集对现代深度学习至关重要。倡导者认为,理解这些方法需要数据集透明性(例如“数据集策展、动机、组成、收集过程等”)。然而,几乎无人建议发布提供给标注者的详细定义与视觉类别示例——这些信息对于理解各数据集中标注的结构至关重要。这些标签是公共数据集的核心,却鲜有数据集包含用于生成它们的指令。我们引入一项新任务“标注指令生成”,以解决公开标注指令缺失的问题。在标注指令生成中,我们取一个标注合理的数据集并:1)生成一组在视觉上代表数据集中每个类别的示例;2)为各示例提供对应的文本标签。我们引入了一个无需模型训练即可解决该任务的框架,其包含一个新创建的快速检索系统,该系统利用了大型预训练视觉与语言模型。该框架充当人类标注者的代理,可帮助生成最终标注指令集并评估其质量。我们的框架生成数据集类别的多种视觉与文本表示。优化后的指令集在5折交叉验证中相对于我们最强的基线,在NuImages上mAP高出7.06,在COCO上mAP高出12.9。
引用
@article{arxiv.2306.14035,
title = {Thinking Like an Annotator: Generation of Dataset Labeling Instructions},
author = {Nadine Chang and Francesco Ferroni and Michael J. Tarr and Martial Hebert and Deva Ramanan},
journal= {arXiv preprint arXiv:2306.14035},
year = {2023}
}