H-ensemble：一种面向可靠小样本多源无源迁移的信息论方法
机器学习
2023-12-21 v1 人工智能
摘要
多源迁移学习通过利用多个源任务来学习目标任务，是解决数据稀缺问题的有效方法。然而，在商业模型时代，对源数据和模型细节的访问受到限制，从而产生了多源无源（MSF）迁移学习的设置，该设置旨在无需此类访问的情况下利用源领域知识。作为一个新定义的问题范式，MSF迁移学习在很大程度上仍未得到充分探索且未明确表述。在这项工作中，我们采用信息论的视角，提出了一个名为H-ensemble的框架，该框架通过最大相关回归的推广，动态学习源模型对目标任务的最优线性组合（即集成）。集成权重通过最大化一个用于可迁移性的信息论度量来优化。与先前工作相比，H-ensemble的特点是：1）适应新颖且现实的小样本目标任务的MSF设置；2）理论可靠性；3）轻量级结构，易于解释和适应。我们通过消融研究以及与其他任务集成和迁移学习方法的广泛比较分析，实证验证了我们的方法。我们表明，H-ensemble能够成功学习最优任务集成，并超越先前技术。
引用
@article{arxiv.2312.12489,
title = {H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer},
author = {Yanru Wu and Jianning Wang and Weida Wang and Yang Li},
journal= {arXiv preprint arXiv:2312.12489},
year = {2023}
}
备注
AAAI 2024