基于二阶神经常微分方程的跨模态少样本学习
计算机视觉与模式识别
2024-12-23 v1
摘要
我们提出了 SONO 方法，利用二阶神经常微分方程 (Second-Order NODEs) 来增强跨模态少样本学习。通过采用由二阶 NODEs 模型配合跨模态分类器构成的简单而有效的架构，SONO 解决了由于训练样本有限而常见的过拟合问题。我们的方法可逼近更广泛的函数类，增强模型的表达能力和特征泛化能力。我们初始化跨模态分类器，使用从与类相关提示派生的文本嵌入，避免频繁处理文本编码器，从而简化训练效率。此外，我们利用基于文本的图像增强，利用 CLIP 强大的图像-文本相关性显著丰富训练数据。广泛的实验表明，SONO 在少样本学习性能上超过现有的领先方法。
引用
@article{arxiv.2412.15813,
title = {Cross-Modal Few-Shot Learning with Second-Order Neural Ordinary Differential Equations},
author = {Yi Zhang and Chun-Wun Cheng and Junyi He and Zhihai He and Carola-Bibiane Schönlieb and Yuyan Chen and Angelica I Aviles-Rivero},
journal= {arXiv preprint arXiv:2412.15813},
year = {2024}
}