多线性算子网络
计算机视觉与模式识别
2024-02-01 v1 机器学习
摘要
尽管深度神经网络在图像识别方面具有卓越的能力，但对激活函数的依赖在很大程度上仍是一个未被探索的领域，且尚未被消除。另一方面，多项式网络是一类不需要激活函数的模型，但其性能尚未能与现代架构相媲美。在这项工作中，我们旨在缩小这一差距，并提出了仅依赖于多线性算子的MONet。MONet的核心层称为Mu-Layer，它捕获输入令牌元素之间的乘法交互。MONet捕获输入元素的高阶交互，我们在一系列图像识别和科学计算基准上证明了我们方法的有效性。所提出的模型优于先前的多项式网络，并且性能与现代架构相当。我们相信MONet能够激发对使用完全多线性运算的模型的进一步研究。
引用
@article{arxiv.2401.17992,
title = {Multilinear Operator Networks},
author = {Yixin Cheng and Grigorios G. Chrysos and Markos Georgopoulos and Volkan Cevher},
journal= {arXiv preprint arXiv:2401.17992},
year = {2024}
}
备注
International Conference on Learning Representations Poster(2024)