深度卷积张量网络
机器学习
2020-11-17 v2 机器学习
摘要
神经网络在许多领域取得了最先进的结果，这被认为归功于参数共享、局部性和深度。张量网络是基于量子多体态的纠缠结构对其进行的线性代数表示。张量网络已在机器学习中得到应用。我们设计了一种称为深度卷积张量网络（DCTN）的新型基于张量网络的图像分类模型，它具有参数共享、局部性和深度的特点。它基于纠缠斑块态（EPS）张量网络。我们展示了如何将 EPS 实现为可反向传播的层。我们在 MNIST、FashionMNIST 和 CIFAR10 数据集上测试了 DCTN。浅层 DCTN 在 MNIST 和 FashionMNIST 上表现良好且参数量小。遗憾的是，深度的增加加剧了过拟合，从而降低了测试准确率。此外，由于过拟合，任何深度的 DCTN 在 CIFAR10 上表现都很差。其原因有待确定。我们讨论了 DCTN 的超参数如何影响其训练和过拟合。
引用
@article{arxiv.2005.14506,
title = {Deep convolutional tensor network},
author = {Philip Blagoveschensky and Anh Huy Phan},
journal= {arXiv preprint arXiv:2005.14506},
year = {2020}
}
备注
14 pages, 18 figures, to be published in the proceedings of NeurIPS 2020 Quantum tensor networks in machine learning workshop