基于张量到张量模型的快速迭代求和特征
计算机视觉与模式识别
2025-06-09 v1 机器学习
摘要
以图像或更高阶张量形式的数据在现代深度学习应用中十分常见。鉴于其固有的高维性质，针对此类数据进行亚二次层处理的需求甚至比序列数据更为迫切。我们提出了一种输入规模为线性成本的新型张量到张量层，利用了 permutation counting 领域中的一种数学工具——“角树”。特别地，对于二阶张量，我们提供了一个可嵌入图像处理管线中的图像到图像层。本方法可视为状态空间模型的高阶推广；另一方面，它基于迭代积分（或求和）签名的数多参数推广。所提出的张量到张量概念用于构建称为 Fast Iterated Sums (FIS) 的神经网络层，该层能够无缝集成到其他层类型中。我们通过分类和异常检测任务展示了 FIS 层的可用性。通过用 FIS 替换较小 ResNet 架构的部分层，在准确率上仅差 0.1% 的情况下，实现了与更大 ResNet 相当的性能，同时减少了可训练参数和乘加运算数量。FIS 层还用于构建异常检测模型，在流行的 MVTec AD 数据集上实现了 97.3% 的平均 AUROC。相关的处理和建模代码已公开发布于 https://github.com/diehlj/fast-iterated-sums。
引用
@article{arxiv.2506.06041,
title = {Tensor-to-Tensor Models with Fast Iterated Sum Features},
author = {Joscha Diehl and Rasheed Ibraheem and Leonard Schmitz and Yue Wu},
journal= {arXiv preprint arXiv:2506.06041},
year = {2025}
}