模型重编程：资源高效的跨域机器学习
机器学习
2023-12-07 v4 人工智能
摘要
在视觉、语言与语音等数据丰富的领域中，深度学习盛行以提供高性能的专用任务模型，甚至可学习通用任务无关表示以高效微调下游任务。然而，资源受限领域的深度学习仍面临多重挑战，包括(i)数据有限，(ii)模型开发成本受限，以及(iii)缺乏充足的预训练模型以有效微调。本文概述模型重编程以弥合此差距。模型重编程通过重新利用并复用源域中已开发的预训练模型来解决目标域任务，而无需模型微调，从而实现资源高效的跨域机器学习，其中源域与目标域可差异巨大。在许多应用中，模型重编程优于迁移学习与从头训练。本文阐明了模型重编程的方法论，总结了现有用例，提供了模型重编程成功的理论解释，并以开放性研究问题与机遇的讨论作结。模型重编程研究列表在 https://github.com/IBM/model-reprogramming 持续维护更新。
引用
@article{arxiv.2202.10629,
title = {Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning},
author = {Pin-Yu Chen},
journal= {arXiv preprint arXiv:2202.10629},
year = {2023}
}
备注
Published at AAAI 2024 (Senior Member Presentation Track); Survey paper on model reprogramming; Project repository: https://github.com/IBM/model-reprogramming