SIM-Trans:用于细粒度视觉分类的结构信息建模Transformer
流体动力学
2022-09-01 v1
摘要
细粒度视觉分类(FGVC)旨在从相似的从属类别中识别对象,对于人类准确的自动识别需求而言具有挑战性且实用。多数FGVC方法聚焦于用于挖掘判别性区域的注意力机制研究,而忽视了它们的相互依赖关系与组合的整体对象结构,而这些对于模型的判别性信息定位与理解能力至关重要。为克服上述局限,我们提出结构信息建模Transformer(SIM-Trans),将对象结构信息融入transformer,以增强包含外观信息与结构信息的判别性表示学习。具体而言,我们将图像编码为块令牌序列,并构建带有两精心设计模块的强视觉transformer框架:(i)提出结构信息学习(SIL)模块,借助transformer的自注意力权重挖掘对象范围内显著块的空间上下文关系,并将其注入模型以引入结构信息;(ii)引入多级特征增强(MFB)模块,利用多级特征的互补性与类间对比学习增强特征鲁棒性以实现准确识别。所提两模块轻量,可插入任意transformer网络并易于端到端训练,且仅依赖于视觉transformer自身的注意力权重。大量实验与分析表明,所提SIM-Trans在细粒度视觉分类基准上取得最先进性能。代码见https://github.com/PKU-ICST-MIPL/SIM-Trans_ACMMM2022。
引用
@article{arxiv.2208.14606,
title = {Reynolds number effects on the bistable flows over a wavy circular cylinder},
author = {Kai Zhang and Hongbo Zhu and Yong Cao and Dai Zhou},
journal= {arXiv preprint arXiv:2208.14606},
year = {2022}
}