领域感知的持续零样本学习
计算机视觉与模式识别
2024-03-13 v3 机器学习
摘要
现代视觉系统在自然科学研究的视觉任务中具有广泛的潜在应用，例如辅助物种发现、监测野外动物等。然而，现实世界的视觉任务可能会经历环境条件的变化，导致所捕获图像的呈现方式发生偏移。为解决此问题，我们提出了领域感知的持续零样本学习（DACZSL），一项在持续变化的领域中识别未见类别图像的任务。相应地，我们提出了领域不变网络（DIN），用于学习针对偏移领域的因子化特征以及针对未见类的改进文本表示。DIN持续学习一个用于领域不变和任务不变特征的全局共享网络，以及用于任务特定特征的每任务私有网络。此外，我们通过类级可学习提示增强双网络，以改进类级文本表示，从而提升对未来未见类的零样本预测。为评估DACZSL，我们引入了两个基准：DomainNet-CZSL和iWildCam-CZSL。我们的结果表明，DIN在调和准确率上显著优于现有基线超过5%，在反向迁移上超过1%，并达到了新的SOTA。
引用
@article{arxiv.2112.12989,
title = {Domain-Aware Continual Zero-Shot Learning},
author = {Kai Yi and Paul Janson and Wenxuan Zhang and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2112.12989},
year = {2024}
}