卷积网络中用于成本可调推理与改进正则化的随机下采样
机器学习
2018-01-30 v1 计算机视觉与模式识别
神经与进化计算
摘要
人们期望训练卷积网络(CNNs)使其在推理时更高效运行。然而在许多情况下,系统用于推理的计算预算在训练前无法预知,或推理预算依赖于实时资源的变化。因此,仅训练推理高效的CNNs是不够的,因其推理成本不可调且无法适应各异的推理预算。我们提出一种CNN中成本可调推理的新方法——随机下采样点(SDPoint)。训练时,SDPoint对层层级结构中的随机位置施加特征图下采样,并采用随机下采样比。这些被称为SDPoint实例(同模型)的不同随机下采样配置彼此计算成本不同,同时被训练以最小化相同的预测损失。在不同实例间共享网络参数带来了显著的正则化提升。推理时,可手动选取最契合推理预算的SDPoint实例。SDPoint作为成本可调推理方法与正则化器的有效性,已通过图像分类上的大量实验得到验证。
引用
@article{arxiv.1801.09335,
title = {Stochastic Downsampling for Cost-Adjustable Inference and Improved Regularization in Convolutional Networks},
author = {Jason Kuen and Xiangfei Kong and Zhe Lin and Gang Wang and Jianxiong Yin and Simon See and Yap-Peng Tan},
journal= {arXiv preprint arXiv:1801.09335},
year = {2018}
}