迈向大语言模型的增量学习：一项批判性综述
信息论
2024-04-30 v1 math.IT
摘要
增量学习是系统随时间获取知识、从而适应并泛化到新任务的能力。对于智能的、现实世界的系统而言，尤其是在数据频繁变化或有限的情况下，这是一种关键能力。本综述对大型语言模型中的增量学习进行了全面分析。它综合了最新的增量学习范式，包括持续学习、元学习、参数高效学习和混合专家学习。我们通过描述这些相关主题的具体成果及其关键因素，展示了它们在增量学习中的效用。一个重要发现是，这些方法中的许多并不更新核心模型，且没有一种能够实时增量更新。本文指出了该领域当前存在的问题和未来研究的挑战。通过整合最新的相关研究进展，本综述为设计和开发基于 LLM 的学习系统提供了关于增量学习及其影响的全面理解。
关键词
引用
@article{arxiv.2404.18310,
title = {Multiport Network Modeling for Reconfigurable Intelligent Surfaces: Numerical Validation with a Full-Wave PEEC Simulator},
author = {Giuseppe Pettanice and Marco Di Renzo and Sumin Jeong and Roberto Valentini and Piergiuseppe Di Marco and Fortunato Santucci and Daniele Romano and Giulio Antonini},
journal= {arXiv preprint arXiv:2404.18310},
year = {2024}
}