用于谱几何学习的富有表达力的符号等变网络
机器学习
2023-12-06 v1 人工智能
机器学习
摘要
近期的工作表明，开发遵循特征向量结构和对称性的机器学习模型具有实用价值。这些工作提倡符号不变性，因为对于任意特征向量 v，其取反 -v 也是特征向量。然而，我们证明了符号不变性在构建正交等变模型和学习用于图中链路预测的节点位置编码等任务中存在理论局限性。在本工作中，我们展示了符号等变性在这些任务中的优势。为了获得这些优势，我们开发了新颖的符号等变神经网络架构。我们的模型基于对符号等变多项式的新解析刻画，从而继承了可证明的表达力性质。受控的合成实验表明，我们的网络能够实现符号等变模型在理论上预测的优势。代码可在 https://github.com/cptq/Sign-Equivariant-Nets 获取。
引用
@article{arxiv.2312.02339,
title = {Expressive Sign Equivariant Networks for Spectral Geometric Learning},
author = {Derek Lim and Joshua Robinson and Stefanie Jegelka and Haggai Maron},
journal= {arXiv preprint arXiv:2312.02339},
year = {2023}
}
备注
NeurIPS 2023 Spotlight