通过表示融合实现跨域少样本学习
机器学习
2021-02-17 v2
摘要
为了快速适应新数据，少样本学习旨在从少量样本中学习，通常借助已获取的知识。新数据常因域偏移（即输入-目标分布的变化）而与此前所见数据不同。尽管若干方法在类似输入下新目标类别等较小域偏移上表现良好，较大域偏移仍具挑战性。大域偏移可能导致原始域与新域之间不共享高层概念，而诸如图像中边缘等低层概念可能仍被共享且有用。针对跨域少样本学习，我们提出表示融合，将深度神经网络的不同抽象层级统一为单一表示。我们提出跨域赫布集成少样本学习（Cross-domain Hebbian Ensemble Few-shot learning, CHEF），它通过作用于深度神经网络不同层的赫布学习器集成来实现表示融合。消融研究表明，表示融合是提升跨域少样本学习的关键要素。在具有较小域偏移的少样本数据集 miniImagenet 与 tieredImagenet 上，CHEF 与最先进方法具有竞争力。在具有较大域偏移的跨域少样本基准挑战上，CHEF 在所有类别中均确立了新的最先进结果。我们进一步将 CHEF 应用于药物发现中的真实跨域场景。我们考虑从生物活性分子到环境化学品及药物的域偏移，以及十二项相关的毒性预测任务。在这些对计算药物发现高度相关的任务上，CHEF 显著优于所有竞争对手。Github: https://github.com/ml-jku/chef
引用
@article{arxiv.2010.06498,
title = {Cross-Domain Few-Shot Learning by Representation Fusion},
author = {Thomas Adler and Johannes Brandstetter and Michael Widrich and Andreas Mayr and David Kreil and Michael Kopp and Günter Klambauer and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2010.06498},
year = {2021}
}