Ada-QPacknet——以位宽缩减的自适应剪枝作为一种无遗忘的高效持续学习方法
机器学习
2023-10-03 v2 人工智能
摘要
持续学习（CL）是一个在人类与深度学习模型效率之间仍存在巨大差距的过程。近来设计了许多 CL 算法，其中大多数在动态复杂环境学习中面临诸多问题。本文描述了一种基于新架构的方法 Ada-QPacknet，它利用剪枝为每个任务提取子网络。基于架构的 CL 方法的关键在于其容量。在所提方法中，模型大小通过高效的线性和非线性量化方法得以缩减，该方法降低了权重格式的位宽。结果表明，低位量化在知名 CL 场景下取得了与浮点子网络相似的精度。据我们所知，这是首个同时结合剪枝与量化两种压缩技术来生成任务子网络的 CL 策略。所提算法在知名的阶段组合上进行了测试，并与最流行的算法比较。结果显示，该方法在任务和类增量场景下优于大多数 CL 策略。
引用
@article{arxiv.2308.07939,
title = {Ada-QPacknet -- adaptive pruning with bit width reduction as an efficient continual learning method without forgetting},
author = {Marcin Pietroń and Dominik Żurek and Kamil Faber and Roberto Corizzo},
journal= {arXiv preprint arXiv:2308.07939},
year = {2023}
}
备注
Paper accepted at ECAI 2023