点云网络：线性层参数量级的阶数级改进
机器学习
2023-09-25 v1 计算机视觉与模式识别
神经与进化计算
摘要
本文介绍了点云网络(PCN)架构，一种深度学习网络中线性层的新颖实现，并提供经验证据主张在线性层中优先于多层感知机(MLP)使用它。我们训练了若干模型，包括原始AlexNet，同时使用MLP和PCN架构以直接比较线性层(Krizhevsky et al., 2012)。收集的关键结果是模型参数量以及在CIFAR-10和CIFAR-100数据集(Krizhevsky, 2009)上的top-1测试精度。AlexNet-PCN16，即我们对应于AlexNet的PCN版本，在其线性层参数减少99.5%的情况下取得了与原始架构相当的效能（测试精度）。所有训练均在云端RTX 4090 GPU上进行，利用pytorch进行模型构建与训练。我们提供了代码供任何人复现本文的试验。
引用
@article{arxiv.2309.12996,
title = {Point Cloud Network: An Order of Magnitude Improvement in Linear Layer Parameter Count},
author = {Charles Hetterich},
journal= {arXiv preprint arXiv:2309.12996},
year = {2023}
}