利用人工三元组增强数据传输以提升场景图生成
计算机视觉与模式识别
2024-07-23 v2
摘要
本工作聚焦于面向场景图生成 (SGG) 的信息性关系三元组训练数据集增强。由于缺乏有效的监督信号，当前 SGG 模型在训练样本不足的关系性三元组上的预测表现较差。因此，我们提出了两种新颖的训练数据集增强模块：特征空间三元组增强 (FSTA) 和软传输。FSTA 利用训练生成特征表示的特征生成器来生成关系三元组中对象的表示。FSTA 中基于偏差预测的抽样方法高效地聚焦于具有挑战性的样本进行人工三元组增强。此外，我们引入软传输技术，为一般关系三元组分配软谓词标签，以有效地为信息性谓词类别提供更多监督。实验结果表明，集成 FSTA 和软传输在 Visual Genome 数据集上在 Recall 和 mean Recall 方面实现了高水平的表现。在所有现有模型无关方法中，集成 FSTA 和软传输的 mean Recall 和 mean Recall 均为最高值。
关键词
引用
@article{arxiv.2406.19316,
title = {Enhanced Data Transfer Cooperating with Artificial Triplets for Scene Graph Generation},
author = {KuanChao Chu and Satoshi Yamazaki and Hideki Nakayama},
journal= {arXiv preprint arXiv:2406.19316},
year = {2024}
}
备注
Accepted to IEICE Transactions on Information and Systems in April 2024