TwistNet-2D:基于螺旋扭转学习二阶通道相互作用用于纹理识别
计算机视觉与模式识别
2026-05-05 v3
摘要
二阶特征统计在纹理识别中居于核心位置,但现有机制存在结构性张力:双线性池化和赫姆矩阵捕获全局通道相关性却丢弃空间结构,而自注意力模型通过加权求和捕获跨位置关系,未显式建模成对乘积。我们提出TwistNet-2D,一个轻量级模块,通过方向性空间位移计算局部成对通道乘积,联合编码特征共现位置及其相互作用方式。核心组件螺旋扭转通道相互作用(STCI)对特征图按指定方向平移后进行L2归一化通道乘法,捕获 characterize 结构化和周期性纹理的跨位置共现模式。四个方向头经内容自适应通道重加权后,通过以近零初始化的Sigmoid门控残差路径注入。TwistNet-2D仅增加约3.5%的参数和约2%的FLOPs。为消除架构归纳偏置与迁移学习贡献的影响,本文模型均从头训练,未使用ImageNet预训练。在该协议下,TwistNet-2D在四个纹理和细粒度识别基准中持续超越参数匹配的基线模型以及规模更大的ConvNeXt和Swin Transformer骨干网络,同时多头结构产生可解释的、定向选择性表示,与经典纹理分析相吻合。
引用
@article{arxiv.2602.07262,
title = {TwistNet-2D: Learning Second-Order Channel Interactions via Spiral Twisting for Texture Recognition},
author = {Junbo Jacob Lian and Feng Xiong and Yujun Sun and Kaichen Ouyang and Zong Ke and Mingyang Yu and Shengwei Fu and Zhong Rui and Zhang Yujun and Huiling Chen},
journal= {arXiv preprint arXiv:2602.07262},
year = {2026}
}
备注
Code is available at https://github.com/junbolian/TwistNet-2D