少即是多——基于结构化稀疏性的简约多任务模型
计算机视觉与模式识别
2023-12-01 v3 机器学习
摘要
深度学习中的模型稀疏化促进了参数更少、更简洁且更具可解释性的模型。这不仅降低了模型的内存占用与计算需求，还缩短了推理时间。本工作致力于构建参数更少、针对多任务优化的稀疏模型。这些简约模型亦具备在性能上匹配或超越稠密模型的潜力。在本工作中，我们在多任务学习模型共享卷积层参数（或权重）中引入通道级 l1/l2 组稀疏性。该方法有助于移除多余组即通道（得益于 l1 正则化），并对权重施加惩罚，进一步提升所有任务的学习效率（得益于 l2 正则化）。我们在两个广泛使用的多任务学习（MTL）数据集 NYU-v2 与 CelebAMask-HQ 上分析了单任务与多任务设置下组稀疏性的结果。这两个数据集各包含三项不同的计算机视觉任务，在两者上，约 70% 稀疏度的多任务模型均优于其稠密对应模型。我们还探究了改变稀疏化程度如何影响模型性能、总体稀疏度百分比、稀疏模式以及推理时间。
引用
@article{arxiv.2308.12114,
title = {Less is More -- Towards parsimonious multi-task models using structured sparsity},
author = {Richa Upadhyay and Ronald Phlypo and Rajkumar Saini and Marcus Liwicki},
journal= {arXiv preprint arXiv:2308.12114},
year = {2023}
}
备注
accepted at First Conference on Parsimony and Learning (CPAL 2024)