CantorNet:用于测试几何与拓扑复杂性度量的沙盒
神经与进化计算
2025-01-29 v3 人工智能
机器学习
摘要
许多自然现象都表现出自相似性,例如人脸的对称性或歌曲的重复纹样。研究这些对称性有助于我们更深入地理解复杂系统的内在机制。鉴于这一重要性,我们提出了一个受几何启发的框架来研究人工神经网络中的自相似性。为此,我们引入了受哥德尼·坎特(Georg Cantor)在19世纪提出的三角构法启发的CantorNet。在数学中,坎特集是位于单条直线上的一组点,具有自相似性且具有反直觉的性质——它是一个不可数零测集。类似地,我们引入CantorNet作为研究自相似性的沙盒,通过 novel 拓扑与几何复杂性度量来实现。CantorNet构成一个由ReLU神经网络组成的家族,其覆盖了可能的Kolmogorov复杂度整个谱系,包括两个相互对立的描述(线性描述和指数描述,依据描述长度衡量)。CantorNet的决策边界可以任意粗糙,却是可解析的。除了作为复杂性度量的测试平台之外,我们的工作也可能说明几何忽视的数据增强技术和对抗攻击的潜在陷阱。
引用
@article{arxiv.2411.19713,
title = {CantorNet: A Sandbox for Testing Geometrical and Topological Complexity Measures},
author = {Michal Lewandowski and Hamid Eghbalzadeh and Bernhard A. Moser},
journal= {arXiv preprint arXiv:2411.19713},
year = {2025}
}
备注
Accepted at the NeurIPS Workshop on Symmetry and Geometry in Neural Representations, 2024