CausalFSFG：从因果视角重新思考少样本细粒度视觉分类
计算机视觉与模式识别
2025-12-29 v1
摘要
少样本细粒�视觉分类(FS-FGVC)聚焦于在仅有一两个支持例样本的情况下识别常见超类的各种子类。大多数现有方法通过丰富提取带有判别性细部信息的特征来提升分类准确率。然而，这些方法常常忽视支持样本集合作为混杂变量的事实，这会通过引入偏置数据分布和误导判别特征提取来阻碍FS-FGVC性能。为解决此问题，我们受因果推断处理偏置数据分布的启发，提出一种新的因果FS-FGVC(CausalFSFG)方法。具体来说，基于结构因果模型(SCM)，我们认为FS-FGVC是从输入(即原因)推断子类(即效应)，而少样本条件扰动和固有的细粒度特性(即大内类方差和小间类方差)导致不可观测变量，这些变量带来伪相关性，损害最终分类性能。为进一步消除伪相关性，我们的CausalFSFG方法包含两个关键组件：(1)干预多尺度编码器(IMSE)进行样本水平的干预；(2)干预掩码特征重建(IMFR)进行特征水平的干预。这两个组件共同揭示从输入到子类的真实因果关系。大量实验和彻底的分析表明，我们的CausalFSFG在广泛使用的公共数据集上实现了新的最先进性能，包括CUB-200-2011、Stanford Dogs和Stanford Cars。代码已公开于https://github.com/PKU-ICST-MIPL/CausalFSFG_TMM。
关键词
引用
@article{arxiv.2512.21617,
title = {CausalFSFG: Rethinking Few-Shot Fine-Grained Visual Categorization from Causal Perspective},
author = {Zhiwen Yang and Jinglin Xu and Yuxin Pen},
journal= {arXiv preprint arXiv:2512.21617},
year = {2025}
}
备注
12 pages, 5 figures, accepted by IEEE TMM