重新审视批样本关系用于数据表示：一种基于批图 Transformer 的方法
计算机视觉与模式识别
2022-11-22 v1
摘要
探索每个 mini-batch 内的样本关系已显示出学习图像表示的巨大潜力。现有工作通常采用常规 Transformer 对视觉内容关系建模，忽略了样本间语义/标签相关性的线索。同时，它们通常采用“全”自注意力机制，这显然冗余且对噪声样本敏感。为克服这些问题，本文设计了一个简单而灵活的批图 Transformer（BGFormer）用于 mini-batch 样本表示，从视觉与语义双视角深度捕获图像样本关系。BGFormer 主要有三方面。（1）它采用一种灵活的图模型，称为批图（Batch Graph），联合编码每个 mini-batch 内样本的视觉与语义关系。（2）它借助稀疏图表示的思想探索样本的邻域关系，从而针对噪声样本表现稳健。（3）它设计了一种新颖的 Transformer 架构，主要采用双结构约束自注意力（SSA），结合图归一化、FFN 等，以细致利用批图信息用于样本令牌（节点）表示。作为一个应用，我们将 BGFormer 应用于度量学习任务。在四个流行数据集上的大量实验证明了所提模型的有效性。
引用
@article{arxiv.2211.10622,
title = {Rethinking Batch Sample Relationships for Data Representation: A Batch-Graph Transformer based Approach},
author = {Xixi Wang and Bo Jiang and Xiao Wang and Bin Luo},
journal= {arXiv preprint arXiv:2211.10622},
year = {2022}
}