IFQ-Net:面向嵌入式视觉的集成定点量化网络
计算机视觉与模式识别
2019-11-20 v1
摘要
自基于深度学习的网络取得巨大成功以来,在嵌入式设备上部署深度模型一直是一个具有挑战性的问题。定点网络以低位定点表示数据,从而显著节省内存占用,通常是首选。尽管当前定点网络采用相对较低的位宽(如 8 位),其内存节省对嵌入式设备而言仍远不够。另一方面,量化深度网络(例如 XNOR-Net 和 HWGQNet)将数据量化为 1 或 2 位,带来更显著的内存节省,但仍包含大量浮点数据。本文中,我们提出一种用于嵌入式视觉任务的定点网络,通过将量化网络中的浮点数据转换为定点来实现。此外,为克服转换造成的数据损失,我们提出跨多层(如卷积、批归一化和量化层)组合浮点数据操作并将其转换为定点。我们将通过这种集成转换得到的定点网络命名为集成定点量化网络(IFQ-Net)。我们证明,在 ImageNet 上精度相近的情况下,我们的 IFQNet 在模型大小和运行期特征图内存上分别带来 2.16 倍和 18 倍的更多节省。此外,基于 YOLOv2,我们设计了 IFQ-Tinier-YOLO 人脸检测器,这是一个定点网络,模型大小比 Tiny-YOLO 缩减 256 倍(246k 字节)。我们展示了我们的人脸检测器在 Face Detection Data Set and Benchmark (FDDB) 上的检测率以及 Wider Face 数据集上检测小脸的定性结果方面的良好性能。
引用
@article{arxiv.1911.08076,
title = {IFQ-Net: Integrated Fixed-point Quantization Networks for Embedded Vision},
author = {Hongxing Gao and Wei Tao and Dongchao Wen and Tse-Wei Chen and Kinya Osa and Masami Kato},
journal= {arXiv preprint arXiv:1911.08076},
year = {2019}
}
备注
9 pages, 6 figures