基于深度向量化的隐式特征解耦
计算机视觉与模式识别
2022-03-30 v2 人工智能
摘要
量化已应用于深度神经网络(DNNs)的多个领域。我们提出深度向量化(DQ)，其中将应用于沿统计依赖性较弱的分解的子张量。特征分解带来表示能力的指数级提升，而内存与参数代价仅线性增加。此外，DQ可直接应用于现有编码器-解码器框架，无需修改DNN架构。我们在分层自编码器背景下使用DQ，并在图像特征表示上端到端训练。我们对空间与通道特征间的互相关进行分析，并提出沿通道轴分解图像特征表示。深度向算子的性能提升源于隐式特征解耦带来的表示能力增强。我们在似然估计任务上评估DQ，其在CIFAR-10、ImageNet-32与ImageNet-64上优于先前最优方法。我们以递增图像尺寸渐进训练单一分层模型，其参数减少69%且比先前工作收敛更快。
引用
@article{arxiv.2203.08080,
title = {Implicit Feature Decoupling with Depthwise Quantization},
author = {Iordanis Fostiropoulos and Barry Boehm},
journal= {arXiv preprint arXiv:2203.08080},
year = {2022}
}
备注
to be published in CVPR-2022