以拓扑特征训练的神经网络是否学到不同的内部表示？
机器学习
2022-11-16 v1 计算机视觉与模式识别
代数拓扑
摘要
利用拓扑数据分析提取的特征来训练机器学习模型的工作日益增多。尽管这一有时被称为拓扑机器学习（TML）的领域已取得若干显著成功，但对于从拓扑特征学习的过程与从原始数据学习的过程有何不同，理解仍有限。本文通过探问“以拓扑特征训练的模型所学到的数据内部表示，是否从根本上不同于以原始数据训练的模型所学到的表示”，来着手解决这一更大问题的一个组成部分。为量化“不同”，我们借助两种流行的度量来比较神经网络内部数据隐藏表示的相似性：神经拼接（neural stitching）与中心核对齐（centered kernel alignment）。由此，我们就使用拓扑特征训练在何种程度上改变模型所学表示得出了一系列结论。或许并不意外，我们发现，在拓扑特征上训练与评估的模型的隐藏表示，相较于在相应原始数据上训练与评估的模型，在结构上差异显著。另一方面，实验表明在某些情况下，这些表示可通过简单的仿射变换得以调和（至少达到解决相应任务所需的程度）。我们推测，这意味着基于原始数据训练的神经网络在进行预测时可能提取了某些有限的拓扑特征。
引用
@article{arxiv.2211.07697,
title = {Do Neural Networks Trained with Topological Features Learn Different Internal Representations?},
author = {Sarah McGuire and Shane Jackson and Tegan Emerson and Henry Kvinge},
journal= {arXiv preprint arXiv:2211.07697},
year = {2022}
}
备注
To appear at NeurIPS 2022 Workshop on Symmetry and Geometry in Neural Representations (NeurReps)