通过分析特征归因识别适合归纳迁移的任务
机器学习
2022-09-09 v1 信息检索
摘要
迁移学习方法已证明能显著提升下游任务性能。然而，先前工作通常仅报告迁移学习有益之处，忽略了寻找有效迁移设置所需的大量试错。事实上，并非所有任务组合都能带来性能收益，而暴力搜索很快在计算上变得不可行。因此问题随之而来：我们能否在不实际进行实验的情况下预测两个任务间的迁移是否有益？本文中，我们利用可解释性技术，通过比较单任务模型间的神经网络激活，有效预测任务对是否具有互补性。以此方式，我们可避免对所有任务和超参数组合进行网格搜索，大幅减少寻找有效任务对所需时间。我们的结果表明，通过该方法，在 TREC-IS 2020-A 数据集上以正类 F1 仅降低 0.034 的代价，最多可减少 83.5% 的训练时间。
引用
@article{arxiv.2202.01096,
title = {Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions},
author = {Alexander Pugantsov and Richard McCreadie},
journal= {arXiv preprint arXiv:2202.01096},
year = {2022}
}
备注
Accepted at ECIR 2022