正确、错误与外在等变性的通用理论
机器学习
2023-10-31 v2 机器学习
摘要
尽管等变机器学习在许多任务上已被证明有效,但其成功严重依赖于如下假设:真实函数在整个域上对称,且与等变神经网络的对称性相匹配。等变学习文献中缺失的一块是当对称性仅部分存在于域中时对等变网络的分析。在本工作中,我们针对此种情形提出一个通用理论。我们给出正确、错误与外在等变性的逐点定义,从而得以连续量化一个函数所展现的各类等变性的程度。我们随后研究不同程度的错误或外在对称性对模型误差的影响。我们证明了在具有部分错误对称性的分类或回归设定下,不变或等变网络的误差下界。我们还分析了外在等变性的潜在有害效应。实验在三种不同环境中验证了这些结果。
引用
@article{arxiv.2303.04745,
title = {A General Theory of Correct, Incorrect, and Extrinsic Equivariance},
author = {Dian Wang and Xupeng Zhu and Jung Yeon Park and Mingxi Jia and Guanang Su and Robert Platt and Robin Walters},
journal= {arXiv preprint arXiv:2303.04745},
year = {2023}
}
备注
Published at NeurIPS 2023