一种基于补偿遗传算法的多目标优化高效压缩多功能卷积神经网络模型选择方法
神经与进化计算
2019-07-01 v1 计算机视觉与模式识别
摘要
近年来出现了许多流行的卷积神经网络（CNNs），如 Google 的 Inception-V4，在各种图像分类问题上表现优异。这些常用 CNN 模型通常对卷积层中所有神经元使用相同的激活函数（如 RELU），即“单功能 CNN”。然而，单功能 CNN 未必总是最优。因此，对不同神经元使用不同激活函数的“多功能 CNN”（MCNN）已被证明优于单功能 CNN。此外，CNN 通常具有非常大的架构，占用大量内存且需要大量数据才能训练良好，因而其训练与预测时间也往往很高。一个重要研究问题是如何自动且高效地为任意图像分类问题找到兼具高分类性能与紧凑架构、高训练与预测速度、低功耗与小内存的最佳 CNN。从大量候选 MCNN 中智能地找到高效、快速、节能且省内存的“压缩多功能 CNN”（CMCNN）非常有用。本文提出一种使用新遗传算法（GA）的补偿算法，以在性能与架构大小之间取得理想补偿，从而找到最佳 CMCNN。最优 CMCNN 具有最佳性能与最小架构大小。使用 CIFAR10 数据集的仿真表明，该新补偿算法能找到在分类性能（F1-score）、速度、功耗与内存占用上优于非压缩 MCNN 的 CMCNN。未来将基于流行 CNN 架构开发其他高效、快速、节能且省内存的 CMCNN，用于脑信息学与生物医学成像等重要实际应用中的图像分类问题。
引用
@article{arxiv.1906.11912,
title = {A New Compensatory Genetic Algorithm-Based Method for Effective Compressed Multi-function Convolutional Neural Network Model Selection with Multi-Objective Optimization},
author = {Luna M. Zhang},
journal= {arXiv preprint arXiv:1906.11912},
year = {2019}
}