具有可微增强层的深度不变网络

设计对某些数据变换具有不变性的学习系统，在机器学习中至关重要。实践者通常可通过选择网络架构（例如使用卷积处理平移，或使用数据增强）来在训练模型上强制所需的不变性。然而，在网络中强制真正的不变性可能很困难，且数据不变性并非总是先验已知的。最先进的自动数据增强策略学习方法需要留出数据，并基于双层优化问题，这类问题求解复杂且计算开销大。本工作中，我们探究仅从训练数据学习不变性的新方法。利用直接构建在网络中的可学习增强层，我们证明该方法具有极强的通用性。它可纳入任意类型的可微增强，并适用于计算机视觉之外广泛的学习问题。我们提供的经验证据表明，与基于双层优化的现代自动数据增强技术相比，我们的方法更易训练且更快，同时取得相当的结果。实验表明，虽然通过自动数据增强迁移到模型的不变性受模型表达能力限制，但我们方法产生的不变性在设计上对其不敏感。