MixMo：通过深度子网络混合多输入以实现多输出

近期的一些策略通过在一个单一基础网络内同时拟合多个不同的子网络，实现了“免费”的集成。训练期间的主要思想是，每个子网络仅学习对同时提供的多个输入中的一个进行分类。然而，如何最佳地混合这些多输入这一问题迄今尚未被研究。本文中，我们提出 MixMo，一种用于学习多输入多输出深度子网络的新通用框架。我们的核心动机是用更合适的混合机制来替换先前方法中隐藏的次优求和操作。为此，我们从成功的混合样本数据增强中汲取灵感。我们表明，在特征层面进行二值混合——特别是使用来自 CutMix 的矩形块——能够通过使子网络更强且更多样化来提升结果。我们在 CIFAR-100 和 Tiny ImageNet 数据集上改进了图像分类的最优性能（SOTA）。我们易于实现的模型显著优于数据增强深度集成，且没有推理与内存开销。由于我们在特征层面操作并更好地利用了大型网络的表达能力，我们开启了一条与先前工作互补的新研究方向。