面向稀疏数据视觉的频率自适应离散余弦-ViT-ResNet架构
计算机视觉与模式识别
2026-05-01 v3
摘要
稀有动物图像分类的一个主要挑战是数据稀缺，因为许多物种通常只有少量标注样本。为应对这一挑战，我们设计了一个混合深度学习框架，包含新颖的自适应DCT预处理模块、ViT-B16和ResNet50骨干网络以及贝叶斯线性分类头。据我们所知，我们是首个引入自适应频域选择机制的研究，该机制学习适合后续骨干网络的最优低、中、高频边界。我们的网络首先通过这种自适应DCT划分捕获图像频域线索。然后将自适应滤波的频率特征输入ViT-B16以建模全局上下文关系，同时ResNet50从原始图像中并发提取局部的多尺度空间表示。跨层级融合策略无缝集成这些频域和空间域嵌入，融合后的特征通过贝叶斯线性分类器输出最终的类别预测。在我们自建的50类野生动物数据集上，该方法优于传统CNN和固定频带DCT流程，在极端样本稀缺下实现了SOTA准确率。
引用
@article{arxiv.2505.22701,
title = {Frequency-Adaptive Discrete Cosine-ViT-ResNet Architecture for Sparse-Data Vision},
author = {Ziyue Kang and Weichuan Zhang},
journal= {arXiv preprint arXiv:2505.22701},
year = {2026}
}
备注
This preprint has been withdrawn by the primary author after identifying issues in the dataset validation process, including noisy and potentially out-of-domain samples. These issues may affect the reliability of the reported experimental results. The author therefore considers withdrawal to be the most responsible course of action and appreciates the readers' understanding