一种紧凑型 DNN：逼近 GoogLeNet 级别的分类与领域自适应精度
计算机视觉与模式识别
2017-04-04 v4 人工智能
神经与进化计算
摘要
近来，基于网络架构设计的 DNN 模型压缩（如 SqueezeNet）引起了广泛关注。与知名模型相比，这些极其紧凑的网络在图像分类上未观察到精度下降。然而，一个新兴问题是，这些模型压缩技术是否会损害 DNN 在单一数据集上分类图像之外的学习能力。我们的初步实验表明，尽管分类性能得以保持，但这些压缩方法可能会降低领域自适应（DA）能力。因此，本文提出了一种新的紧凑网络架构和无监督 DA 方法。该 DNN 构建于一个新的基本模块 Conv-M 之上，该模块在不显著增加参数的情况下提供了更多样化的特征提取器。我们的 DA 方法统一框架将同时学习跨领域不变性、减少特征表示的差异，并适配标签预测。我们的 DNN 拥有 4.1M 参数，仅为 AlexNet 的 6.7% 或 GoogLeNet 的 59%。实验表明，我们的 DNN 在分类和 DA 上均获得了 GoogLeNet 级别的精度，且我们的 DA 方法略优于先前具有竞争力的方法。综合而言，基于我们 DNN 的 DA 策略在流行的 Office-31 和 Office-Caltech 数据集上共十八项 DA 任务中的十六项上达到了最先进水平。
引用
@article{arxiv.1703.04071,
title = {A Compact DNN: Approaching GoogLeNet-Level Accuracy of Classification and Domain Adaptation},
author = {Chunpeng Wu and Wei Wen and Tariq Afzal and Yongmei Zhang and Yiran Chen and Hai Li},
journal= {arXiv preprint arXiv:1703.04071},
year = {2017}
}
备注
2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'17)