TinySubNets: 一种高效且容量较小的持续学习策略
机器学习
2025-09-16 v3 人工智能
摘要
持续学习 (CL) 是近年来机器学习研究中备受关注的设置。尽管已有许多 CL 工作在架构和混合策略方面表现尤为有效, 由于这些解决方案未能有效利用模型稀疏性, 且因对可用权重的低效利用而容易出现容量饱和, 从而限制了可学习任务的数量。在本文中, 我们提出了 TinySubNets (TSN), 一种新型架构 CL 策略, 通过修剪具有不同稀疏度的权重、自适应量化和权重共享的独特组合来解决上述问题。修剪识别保留模型性能的权重子集, 为后续任务提供不那么重要的权重。自适应量化允许单个权重被分离为多个部分，可分配给不同任务。任务之间的权重共享可提高容量利用效率并增强任务相似性, 允许在模型准确率与容量之间更好地进行权衡。这些特征使 TSN 能够高效地利用可用容量、增强知识传递并减少计算资源消耗。涉及常见基准 CL 数据集和情形的实验结果表明, 我们的策略在准确率方面优于现有最先进的 CL 策略。更重要的是, 本策略显著提高了模型容量的利用率。代码发布于: https://github.com/lifelonglab/tinysubnets。
引用
@article{arxiv.2412.10869,
title = {TinySubNets: An efficient and low capacity continual learning strategy},
author = {Marcin Pietroń and Kamil Faber and Dominik Żurek and Roberto Corizzo},
journal= {arXiv preprint arXiv:2412.10869},
year = {2025}
}