等变表示中群不变线性读出层的容量:在所有可能视角下可以线性分类多少对象?
机器学习
2022-02-08 v4 计算机视觉与模式识别
机器学习
摘要
等变性已成为表示对象的一种理想属性,这些对象受到构成群的恒等变换(如平移和旋转)的影响。然而,受群等变性约束的表示的表达能力仍未完全被理解。我们通过提供 Cover 函数计数定理的推广来弥补这一差距,该推广量化了可以分配给对象等变表示的线性可分且群不变的二元二分法的数量。我们发现,可分二分法的比例由群作用固定的空间维度决定。我们展示了这种关系如何扩展到诸如卷积、逐元素非线性以及全局和局部池化等操作。虽然其他操作不会改变可分二分法的比例,但局部池化尽管是高度非线性的操作,却会降低该比例。最后,我们在随机初始化和完全训练的卷积神经网络的中间表示上测试了我们的理论,并发现了完美的一致性。
引用
@article{arxiv.2110.07472,
title = {Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?},
author = {Matthew Farrell and Blake Bordelon and Shubhendu Trivedi and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2110.07472},
year = {2022}
}
备注
Version accepted to ICLR 2022