具有异构学习率的PSO-卷积神经网络
计算机视觉与模式识别
2023-09-13 v3 机器学习
神经与进化计算
摘要
卷积神经网络（ConvNets或CNNs）已被广泛应用于计算机视觉及相关领域。然而，这些神经网络的训练动态仍难以捉摸：训练它们既困难又计算昂贵。已有大量架构与训练策略被提出以克服这一挑战，并解决图像处理中的若干问题，如语音、图像与动作识别以及目标检测。本文中，我们提出一种新颖的基于粒子群优化（PSO）的ConvNets训练方法。在该框架中，每个ConvNet的权重向量通常被视为相空间中粒子的位置，借此PSO的协作动态与随机梯度下降（SGD）相互交织，以提升训练性能与泛化能力。我们的方法如下：i)［常规阶段］每个ConvNet经SGD独立训练；ii)［协作阶段］ConvNets彼此共享其当前权重向量（或粒子位置）及损失函数的梯度估计。不同的步长由不同的ConvNets设定。通过恰当混合具有较大（可能为随机）步长的ConvNets与更为保守的ConvNets，我们提出了一种相对于其他基于PSO的方法在Cifar-10与Cifar-100上具竞争性能的算法（准确率分别为98.31%与87.48%）。这些准确率水平仅借助四个ConvNets即取得——此类结果预期随协作ConvNets数量相应扩展。我们提供源代码供下载：https://github.com/leonlha/PSO-ConvNet-Dynamics。
引用
@article{arxiv.2205.10456,
title = {PSO-Convolutional Neural Networks with Heterogeneous Learning Rate},
author = {Nguyen Huu Phong and Augusto Santos and Bernardete Ribeiro},
journal= {arXiv preprint arXiv:2205.10456},
year = {2023}
}
备注
20 pages