CoopSubNet：有限训练预算下深度网络数据驱动正则化的协作子网络
计算机视觉与模式识别
2019-06-14 v1 机器学习
摘要
深度网络是当前机器学习范式不可或缺的组成部分。其在数据与各种目标变量间学习复杂函数映射、同时发现隐藏的、任务驱动特征的内在能力，使其成为广泛应用中的强大技术。然而，这些网络的成功通常依赖于充足训练数据的可用性，以优化大量自由参数并避免过拟合，尤其对大容量网络。在训练预算有限的场景中，例如具有有限标记样本的监督任务，已应用若干通用和/或任务特定的正则化技术（包括数据增强）来改善深度网络的泛化。此类正则化通常独立于数据或训练场景引入，因此必须调整、测试和修改以满足特定网络需求。在本文中，我们提出一种新颖的正则化框架，其由待学习特征空间的群体级统计驱动。该正则化采用 \textbf{协作子网络} 的形式，即一个附加于特征空间并与主网络联合训练的自动编码器架构。我们介绍了该架构与训练方法，并展示了所提出的基于协作网络的正则化在文献中多种任务与架构上的有效性。我们的代码可在 \url{https://github.com/riddhishb/CoopSubNet} 免费获取。
引用
@article{arxiv.1906.05441,
title = {CoopSubNet: Cooperating Subnetwork for Data-Driven Regularization of Deep Networks under Limited Training Budgets},
author = {Riddhish Bhalodia and Shireen Elhabian and Ladislav Kavan and Ross Whitaker},
journal= {arXiv preprint arXiv:1906.05441},
year = {2019}
}