非自然图像数据集中中奖票的可迁移性研究
计算机视觉与模式识别
2020-11-23 v2
摘要
我们研究了在自然图像数据集上满足彩票假设(pruned neural networks)的剪枝神经网络泛化性质。我们分析了在训练数据稀缺且来自非自然领域条件下的其潜力。具体而言，我们探究在流行的 CIFAR-10/100 与 Fashion-MNIST 数据集上发现的剪枝模型，是否能泛化到来自数字病理学与数字遗产领域的七个不同数据集。我们的结果表明，相较于参数更多的模型，迁移并训练稀疏架构具有显著优势，因为在所有实验中，作为彩票假设中奖者的剪枝网络均显著优于其更大的未剪枝对应模型。这些结果表明，中奖初始化在一定程度上确实包含通用的归纳偏置，尽管正如我们在生物医学数据集上的实验所报告的那样，其泛化性质可能比文献中迄今观察到的更具局限性。
引用
@article{arxiv.2005.05232,
title = {On the Transferability of Winning Tickets in Non-Natural Image Datasets},
author = {Matthia Sabatelli and Mike Kestemont and Pierre Geurts},
journal= {arXiv preprint arXiv:2005.05232},
year = {2020}
}