面向多域学习的预算感知剪枝
计算机视觉与模式识别
2023-09-19 v3
摘要
深度学习已在多项计算机视觉任务与域上取得最先进（SOTA）性能。然而，其仍具有高计算成本并需要大量参数。此类需求阻碍了在资源受限环境中的应用，并要求软硬件协同优化。另一局限是深度模型通常专用于单一域或任务，需为每个新域或任务学习并存储新参数。多域学习（MDL）试图通过训练单一模型在多个域上均表现良好来解决此问题。然而，模型通常比单域基线更大。本工作同时解决这两个问题：我们的目标是根据用户定义的预算对能处理多域的模型进行剪枝，使其在保持相近分类性能的同时计算开销更低。我们通过促使所有域使用基线模型中相似的滤波器子集（不超过用户预算所定数量）来实现这一点。随后，将任何域均未使用的滤波器从网络中剪除。所提方法的创新在于更好地适配资源受限设备，并且据我们所知，是唯一能在测试时以少于单域基线模型的参数与更低计算复杂度处理多域的工作。
引用
@article{arxiv.2210.08101,
title = {Budget-Aware Pruning for Multi-Domain Learning},
author = {Samuel Felipe dos Santos and Rodrigo Berriel and Thiago Oliveira-Santos and Nicu Sebe and Jurandy Almeida},
journal= {arXiv preprint arXiv:2210.08101},
year = {2023}
}