从无偏见的场景图中恢复无偏场景图
计算机视觉与模式识别
2021-07-06 v1 多媒体
摘要
给定输入图像，场景图生成（SGG）旨在产生描述显著物体间视觉关系的全面图形化表示。近来，更多工作关注 SGG 中的长尾问题；然而，不同类别漏标比例的不平衡，或称报告偏差，加剧了长尾现象，却很少被考虑，且无法由现有去偏方法解决。本文中我们表明，由于漏标，SGG 可视为“从正类与未标注类数据学习”（PU learning）问题，其中报告偏差可通过利用标签频率（即所有正例中标定的正类样例的每类比例）从无偏概率恢复无偏概率来消除。为获得准确的标签频率估计，我们提出动态标签频率估计（DLFE），以利用训练时数据增强并在多次训练迭代上取平均从而引入更多有效样例。大量实验表明，DLFE 比传统估计的朴素变体更有效地估计标签频率，且 DLFE 显著缓解长尾并在 VG 数据集上取得最先进的去偏性能。我们还定性地展示配备 DLFE 的 SGG 模型生成明显更平衡且无偏的场景图。
引用
@article{arxiv.2107.02112,
title = {Recovering the Unbiased Scene Graphs from the Biased Ones},
author = {Meng-Jiun Chiou and Henghui Ding and Hanshu Yan and Changhu Wang and Roger Zimmermann and Jiashi Feng},
journal= {arXiv preprint arXiv:2107.02112},
year = {2021}
}
备注
Accepted by ACMMM 2021. Source code will be available at https://github.com/coldmanck/recovering-unbiased-scene-graphs