理解长尾对神经网络压缩的影响
机器学习
2023-06-29 v3 人工智能
计算机视觉与模式识别
摘要
网络压缩如今已是神经网络研究中一个成熟的分支：过去十年间，在减小模型规模、加速推理的同时保持分类精度方面取得了显著进展。然而，许多工作观察到，仅关注整体精度可能产生误导。例如，已有研究表明，完整模型与压缩模型之间的不匹配可能偏向于代表性不足的类。这提出了一个重要的研究问题：我们能否在实现网络压缩的同时，与原始网络保持“语义等价”？在本工作中，我们在 Feldman 等人观察到的计算机视觉数据集“长尾”现象背景下研究该问题。他们认为，对某些输入（恰当定义的）的记忆对于获得良好的泛化能力至关重要。由于压缩限制了网络的容量（从而也限制了其记忆能力），我们研究如下问题：完整模型与压缩模型之间的不匹配是否与记忆的训练数据相关？我们通过考虑不同的基础架构与压缩方案，为图像分类任务提供了这方面的正向证据。
引用
@article{arxiv.2306.06238,
title = {Understanding the Effect of the Long Tail on Neural Network Compression},
author = {Harvey Dam and Vinu Joseph and Aditya Bhaskara and Ganesh Gopalakrishnan and Saurav Muralidharan and Michael Garland},
journal= {arXiv preprint arXiv:2306.06238},
year = {2023}
}