基于自适应 Transformer 网络的跨域小样本学习
机器学习
2024-01-26 v1 人工智能
摘要
大多数小样本学习工作依赖于基任务与目标任务之间的同域假设，这阻碍了它们的实际应用。本文提出了一种自适应 Transformer 网络 (ADAPTER)，这是一种简单但有效的跨域小样本学习解决方案，适用于基任务与目标任务之间存在较大域偏移的情况。ADAPTER 建立在双向交叉注意力的思想之上，以学习两个域之间可迁移的特征。所提出的架构使用 DINO 进行训练，以产生多样化且偏差较小的特征，从而避免监督崩溃问题。此外，还提出了标签平滑方法，通过同时考虑嵌入空间中邻近样本的预测标签来提高预测的一致性和可靠性。ADAPTER 的性能在 BSCD-FSL 基准测试中进行了严格评估，其性能以显著优势超越了现有技术。
引用
@article{arxiv.2401.13987,
title = {Cross-Domain Few-Shot Learning via Adaptive Transformer Networks},
author = {Naeem Paeedeh and Mahardhika Pratama and Muhammad Anwar Ma'sum and Wolfgang Mayer and Zehong Cao and Ryszard Kowlczyk},
journal= {arXiv preprint arXiv:2401.13987},
year = {2024}
}
备注
Under Consideration in Knowledge-based Systems