面向更完整函数保持变换理论
机器学习
2024-10-16 v1 人工智能
摘要
在本文中，我们发展出可用于改变神经网络体系结构而保持其所表示函数的新型技术。此类操作称为函数保持变换，已证明在将知识在网络之间传递以快速评估体系结构方面具有实用性，从而具有高效体系结构搜索的应用。我们的方法允许将残差连接集成到函数保持变换中，因此我们称其为R2R。我们提供R2R的推导，表明其能与其他函数保持变换竞争，从而减小可以由函数保持变换扩展的深度学习体系结构的限制。我们对其他函数保持变换（如Net2Net和Network Morphisms）进行比较分析，阐明了它们的差异及各自的用例。最后，我们展示了R2R在快速训练模型方面的有效性，以及其在图像分类任务中学习更多样化滤波器的能力，这与Net2Net和Network Morphisms相比。
引用
@article{arxiv.2410.11038,
title = {Towards a More Complete Theory of Function Preserving Transforms},
author = {Michael Painter},
journal= {arXiv preprint arXiv:2410.11038},
year = {2024}
}