面向类增量学习的密集网络扩展
计算机视觉与模式识别
2023-03-23 v1 人工智能
摘要
本文研究类增量学习（CIL）问题。当前最优方法采用基于网络扩展（NE）的动态架构，即每任务添加一个任务专家。尽管从计算角度看有效，这类方法导致模型随任务数迅速增长。我们提出一种新的NE方法——密集网络扩展（DNE），以在准确率与模型复杂度间取得更好权衡。这是通过引入任务专家网络中间层间的密集连接实现的，其借助特征共享与复用将知识从旧任务迁移至新任务。该共享由基于新任务注意力块（TAB）的跨任务注意力机制实现，可融合跨任务信息。与传统注意力机制不同，TAB在特征混合层面运作，并与空间注意力解耦。这表明其比联合空间-任务注意力更适用于CIL。所提DNE方法可在扩展网络与特征规模时严格保持旧类的特征空间，且增长速率远慢于以往方法。结果，其以4%的准确率优势超越先前SOTA方法，且模型规模相似甚至更小。
引用
@article{arxiv.2303.12696,
title = {Dense Network Expansion for Class Incremental Learning},
author = {Zhiyuan Hu and Yunsheng Li and Jiancheng Lyu and Dashan Gao and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2303.12696},
year = {2023}
}
备注
Accepted by CVPR2023