SHiFT：一种高效灵活的迁移学习搜索引擎
机器学习
2022-09-29 v2 数据库
摘要
迁移学习可视为从零训练模型的一种数据与计算高效的替代方案。诸如 TensorFlow Hub 等丰富模型仓库的出现，使从业者和研究者能够在广泛的下游任务中释放这些模型的潜力。随着这些仓库呈指数级增长，为手头任务高效选取优良模型变得至关重要。通过仔细比较各种选择与搜索策略，我们认识到没有单一方法优于其他方法，混合或组合策略可能有益。因此，我们提出 SHiFT，首个面向下游任务感知、灵活且高效的迁移学习模型搜索引擎。这些特性由自定义查询语言 SHiFT-QL 与基于代价的决策器共同实现，我们经实证验证了其有效性。受机器学习开发迭代性质的启发，我们进一步支持查询的高效增量执行，这在与我们的优化联合使用时需要细致的实现。
引用
@article{arxiv.2204.01457,
title = {SHiFT: An Efficient, Flexible Search Engine for Transfer Learning},
author = {Cedric Renggli and Xiaozhe Yao and Luka Kolar and Luka Rimanic and Ana Klimovic and Ce Zhang},
journal= {arXiv preprint arXiv:2204.01457},
year = {2022}
}