面向多输入多输出架构中高效特征共享的研究
机器学习
2022-05-23 v1
摘要
多输入多输出（MIMO）架构提出在一个基础网络内训练多个子网络，然后对子网络预测进行平均，以免费获得集成带来的好处。尽管取得了一些相对成功，这些架构在参数使用上较为浪费。事实上，我们在本文中强调，所学得的子网络甚至未能共享通用特征，这限制了它们在较小的移动和 AR/VR 设备上的适用性。我们假定此行为源于多输入多输出框架中一个不适定的部分。为解决此问题，我们提出了 MIMO 架构中一个新的解混步骤，使子网络能够恰当地共享特征。在 CIFAR-100 上的初步实验表明，我们的调整实现了特征共享并提升了小架构的模型性能。
引用
@article{arxiv.2205.10139,
title = {Towards efficient feature sharing in MIMO architectures},
author = {Rémy Sun and Alexandre Ramé and Clément Masson and Nicolas Thome and Matthieu Cord},
journal= {arXiv preprint arXiv:2205.10139},
year = {2022}
}
备注
7 pages, 6 figures, 1 table