从因果视角重新审视少样本学习
机器学习
2024-05-08 v3 人工智能
摘要
采用 -way -shot 方案的少样本学习是机器学习中的一个开放性挑战。许多基于度量的方法被提出来解决这一问题，例如 Matching Networks 和 CLIP-Adapter。尽管这些方法已显示出显著进展，但其成功背后的机制尚未得到充分探索。在本文中，我们尝试通过因果机制来解释这些基于度量的少样本学习方法。我们表明，现有方法可视为前门调整（front-door adjustment）的特定形式，其能够缓解虚假相关性的影响从而学习因果关系。这一因果解释可为我们提供一个新的视角，以更好地理解这些现有的基于度量的方法。进一步地，基于该因果解释，我们简单地引入了两种用于基于度量的少样本学习的因果方法，其不仅考虑样本间的关系，还考虑表示的多样性。实验结果证明了我们所提方法在各种基准数据集上少样本分类中的优越性。代码见 https://github.com/lingl1024/causalFewShot。
引用
@article{arxiv.2209.13816,
title = {Revisiting Few-Shot Learning from a Causal Perspective},
author = {Guoliang Lin and Yongheng Xu and Hanjiang Lai and Jian Yin},
journal= {arXiv preprint arXiv:2209.13816},
year = {2024}
}