面向视觉表征学习的类级结构关系建模与平滑
计算机视觉与模式识别
2023-08-09 v1
摘要
近期更复杂神经模型（如 Vision Transformers）与新学习理论（如结构因果模型）的进展推动了图像表征学习的发展。然而，这些模型主要依赖分类损失来隐式正则化类级数据分布，在处理具有多样视觉模式的类别时可能面临困难。我们认为融入数据样本间的结构信息可改善此状况。为实现该目标，本文提出一个称为面向视觉表征学习的类级结构关系建模与平滑（CSRMS）的框架，其包含类级关系建模、类感知图采样以及关系图引导的表征学习模块，用以对整个数据集建模关系图，并执行类感知平滑与正则化操作，以缓解类内视觉多样性和类间相似性问题。具体而言，类级关系建模模块使用聚类算法学习特征空间中的数据分布，并为训练集识别三类类级样本关系；类感知图采样模块以三种策略扩展典型训练批次构建过程以采样数据集级子图；关系图引导的表征学习模块采用带知识引导平滑操作的图卷积网络，以缓解从不同视觉模式到同一类的映射难度。实验证明了结构化知识建模对增强表征学习的有效性，并表明 CSRMS 可结合任意最先进视觉表征学习模型以提升性能。源代码与演示已发布于 https://github.com/czt117/CSRMS。
引用
@article{arxiv.2308.04142,
title = {Class-level Structural Relation Modelling and Smoothing for Visual Representation Learning},
author = {Zitan Chen and Zhuang Qi and Xiao Cao and Xiangxian Li and Xiangxu Meng and Lei Meng},
journal= {arXiv preprint arXiv:2308.04142},
year = {2023}
}