中文

学件:小模型亦可大用

机器学习 2023-10-31 v3 人工智能

摘要

当前机器学习技术存在诸多诟病,如需要海量训练数据与熟练训练技巧、持续学习困难、灾难性遗忘风险、数据隐私或专有信息泄露等。多数研究努力分别聚焦于上述某一问题,却较少关注这些议题在实践中往往相互纠缠。在自然语言处理与计算机视觉应用中取得令人瞩目成果的主流大模型范式,尚未解决这些问题,反而成为碳排放的严重来源。本文概述学件(learnware)范式,其试图使用户无需从零构建机器学习模型,期望通过复用小模型完成甚至超越其原定目的的任务,其中关键要素是规约(specification),它使训练好的模型能被充分识别,从而根据事先对模型一无所知的未来用户需求被复用。

关键词

引用

@article{arxiv.2210.03647,
  title  = {Learnware: Small Models Do Big},
  author = {Zhi-Hua Zhou and Zhi-Hao Tan},
  journal= {arXiv preprint arXiv:2210.03647},
  year   = {2023}
}

备注

Cite as: Zhi-Hua Zhou, Zhi-Hao Tan. Learnware: Small models do big. Science China Information Sciences, 2024, 67(1): 112102.01-112102.12