多尺度张量求和分解作为新的神经网络层用于多维数据处理
机器学习
2025-04-22 v1 人工智能
计算机视觉与模式识别
摘要
多层感知器（MLP）或完全连接的人工神经网络因其使用可学习权重矩阵进行向量-矩阵乘法而广为人知；然而，其在许多机器学习任务中，尤其是计算机视觉任务中，由于每层输入输出对的高维度，实际应用常受限。为提高效率，已采用卷积算子以实现权重共享和局部连接，但受限于感受野有限。本文引入多尺度张量求和（MTS）分解，这是一种新型神经网络算子，通过在多个尺度上实现张量求和，其中每个待求和张量通过 Tucker 分解类似的模式乘积获得。与文献中其他张量分解方法不同，MTS 不是作为网络压缩工具而提出的；而是作为一种新的主干神经层。MTS 不仅在比较传统稠密层（即 MLP 层中未分解的权重矩阵）时减少了所需参数数量并提高了权重优化效率，还在卷积层方面显示出明显优势。对提出的 MTS 网络与 MLP 和卷积神经网络（CNN）进行概念证实验比较，展示了其在各种任务（如分类、压缩和信号恢复）中的有效性。此外，当与本研究中引入的多头门（MHG）等现代非线性单元集成时，相应的神经网络 MTSNet 在各种计算机视觉应用中表现出比当前最先进变换器更具性价比。MTS 层及其基于 MTS 的网络 MTSNets 的软件实现已发布于 https://github.com/mehmetyamac/MTSNet。
引用
@article{arxiv.2504.13975,
title = {Multiscale Tensor Summation Factorization as a New Neural Network Layer (MTS Layer) for Multidimensional Data Processing},
author = {Mehmet Yamaç and Muhammad Numan Yousaf and Serkan Kiranyaz and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2504.13975},
year = {2025}
}
备注
13 pages