HyperInvariances：摊销不变性学习
机器学习
2022-07-19 v1 计算机视觉与模式识别
摘要
在给定学习任务中提供不变性传达了一种关键的归纳偏置，若指定正确，可带来样本高效的学习与良好的泛化能力。然而，许多感兴趣问题的理想不变性通常未知，这既催生了大量工程经验，也引发了为不变性学习提供框架的尝试。然而，对于流行的神经架构，不变性学习代价高昂且数据密集。我们引入摊销不变性学习的概念。在一个前期学习阶段，我们利用超网络学习一个低维特征提取器流形，其跨越对不同变换的不变性。然后，对于任意感兴趣的问题，通过拟合一个低维不变性描述符和一个输出头，模型与不变性学习都快速且高效。经验上，该框架能在不同下游任务中识别合适的不变性，并取得与常规方法相当或更好的测试性能。我们的 HyperInvariance 框架在理论上同样具有吸引力，因为它能给出泛化界，在模型拟合与复杂度权衡中提供了一个有趣的新操作点。
引用
@article{arxiv.2207.08304,
title = {HyperInvariances: Amortizing Invariance Learning},
author = {Ruchika Chavhan and Henry Gouk and Jan Stühmer and Timothy Hospedales},
journal= {arXiv preprint arXiv:2207.08304},
year = {2022}
}
备注
ICML 2022, Workshop on Spurious Correlations, Invariance, and Stability