通过压缩知识传递实现持续学习的低复杂度推理
机器学习
2025-05-14 v1 人工智能
摘要
持续学习（CL）旨在训练能在不忘记先前知识的前提下学习任务序列的模型。CL的核心挑战在于平衡稳定性——保留对旧任务性能——与塑性——适应新任务。最近，大型预训练模型被广泛应用于CL，因为它们能够支持两者，为新任务提供强大的泛化能力，并抵抗遗忘。然而，其高推理成本限制了其在需要低延迟或能源效率的实际应用中的实用性。为此，我们探索模型压缩技术，包括剪枝和知识蒸馏（KD），并为类别递增学习（CIL）——一种面临任务身份在推理时不可用的挑战性CL设置——提出两种高效框架。基于剪枝的框架包括在不同训练阶段应用压缩的预剪枝和后剪枝策略。KD-based框架采用教师-学生体系结构，使大型预训练教师将下游相关知识传递给紧凑学生。多个CIL基准上的广泛实验表明，所提框架在准确率和推理复杂度之间实现更好的权衡，持续优于强大基线。我们进一步分析两种框架在准确率和效率之间的权衡，为在不同场景下的使用提供了见解。
引用
@article{arxiv.2505.08327,
title = {Low-Complexity Inference in Continual Learning via Compressed Knowledge Transfer},
author = {Zhenrong Liu and Janne M. J. Huttunen and Mikko Honkala},
journal= {arXiv preprint arXiv:2505.08327},
year = {2025}
}