什么使数据适合局部连接神经网络?基于量子纠缠的充要条件
机器学习
2024-01-23 v5 人工智能
量子物理
摘要
什么使数据分布适合深度学习这一根本性问题尚待解决。聚焦于局部连接神经网络(一类普遍存在的架构,包括卷积神经网络、循环神经网络以及局部自注意力模型),我们借助量子物理中的理论工具来解决该问题。我们的主要理论结果表明:某个局部连接神经网络能够对数据分布进行准确预测,当且仅当该数据分布在特征的某些规范划分下具有低量子纠缠。作为该结果的实际应用,我们推导了一种增强数据分布对局部连接神经网络适合度的预处理方法。在多个数据集上使用广泛模型的实验证明了我们的发现。我们希望对量子纠缠的运用能鼓励进一步采用物理工具来形式化推理深度学习与真实世界数据之间的关系。
引用
@article{arxiv.2303.11249,
title = {What Makes Data Suitable for a Locally Connected Neural Network? A Necessary and Sufficient Condition Based on Quantum Entanglement},
author = {Yotam Alexander and Nimrod De La Vega and Noam Razin and Nadav Cohen},
journal= {arXiv preprint arXiv:2303.11249},
year = {2024}
}
备注
Accepted to NeurIPS 2023