面向波动模拟器的卷积神经网络先验压缩
机器学习
2023-04-13 v2 计算工程、金融与科学
摘要
卷积神经网络如今在诸多领域得到广泛应用，包括图像分类、人脸与物体识别、医学影像分析等。此外，还存在如物理信息模拟器等应用，其要求以最小延迟进行实时精确预测。当前的神经网络设计包含数百万参数，难以将此类复杂模型部署于内存受限的设备上。压缩技术可通过减少构成模型复杂度的参数数量来缩小所创建的CNN模型规模，从而解决这些问题。我们提出在神经网络训练之前，先验地将卷积层压缩为张量格式。卷积层中的3维或2维核被一维滤波器替代。过拟合现象也将得以减轻。若需处理的参数更少，则使用原始卷积神经网络模型进行预测或训练所需时间将大幅缩减。本文提出一种针对物理数据有限元（FE）预测的卷积神经网络先验压缩方法。随后我们在求解二维波动方程的FE模型物理数据上验证了先验压缩模型。我们展示了所提卷积压缩技术以更少可训练参数与更低内存占用取得了与经典卷积层相当的性能。
引用
@article{arxiv.2304.04964,
title = {A priori compression of convolutional neural networks for wave simulators},
author = {Hamza Boukraichi and Nissrine Akkari and Fabien Casenave and David Ryckelynck},
journal= {arXiv preprint arXiv:2304.04964},
year = {2023}
}