在神经网络训练中利用过剩资源
机器学习
2022-07-13 v1 计算机视觉与模式识别
摘要
在这项工作中，我们提出核滤波线性过参数化（KFLO），该方法在训练期间使用滤波层的线性级联，以提升网络在测试时的性能。我们以核滤波方式实现该级联，从而防止训练得到的架构变得不必要的深。这也使得我们的方法几乎可用于任何网络架构，并允许在测试时将滤波层合并为单层。因此，我们的方法在推理时不增加计算复杂度。我们在监督学习的多种网络模型与数据集上展示了 KFLO 的优势。
引用
@article{arxiv.2207.05532,
title = {Utilizing Excess Resources in Training Neural Networks},
author = {Amit Henig and Raja Giryes},
journal= {arXiv preprint arXiv:2207.05532},
year = {2022}
}
备注
Accepted to ICIP 2022. Code available at https://github.com/AmitHenig/KFLO