细节藏于标签中：面向鲁棒场景图生成的噪声标签修正
计算机视觉与模式识别
2022-06-08 v1
摘要
无偏场景图生成（SGG）近年来取得了显著进展。然而，几乎所有现有的 SGG 模型都忽视了主流 SGG 数据集的 ground-truth 标注质量，即它们总是假设：1) 所有人工标注的正样本同样正确；2) 所有未标注的负样本绝对为背景。本文认为这两个假设均不适用于 SGG：存在大量打破这两个假设的“噪声” ground-truth 谓词标签，这些噪声样本实际上损害了无偏 SGG 模型的训练。为此，我们提出了一种新颖的模型无关噪声标签修正策略 NICE（NoIsy label CorrEction for SGG）。NICE 不仅能检测噪声样本，还能为其重新分配更高质量的谓词标签。经 NICE 训练后，我们可获得更干净的 SGG 数据集用于模型训练。具体而言，NICE 由三部分组成：负样本噪声检测（Neg-NSD）、正样本噪声检测（Pos-NSD）和噪声样本修正（NSC）。首先，在 Neg-NSD 中，我们将该任务形式化为分布外检测问题，并为所有检测到的噪声负样本分配伪标签。接着，在 Pos-NSD 中，我们使用基于聚类的算法将所有正样本划分为多个集合，并将最噪声集合中的样本视为噪声正样本。最后，在 NSC 中，我们使用简单而有效的加权 KNN 为噪声正样本重新分配新的谓词标签。在不同主干网络和任务上的大量结果证实了 NICE 各组件的有效性与泛化能力。
引用
@article{arxiv.2206.03014,
title = {The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation},
author = {Lin Li and Long Chen and Yifeng Huang and Zhimeng Zhang and Songyang Zhang and Jun Xiao},
journal= {arXiv preprint arXiv:2206.03014},
year = {2022}
}
备注
Accepted by CVPR 2022