通过动态跳过连接增强U型网络的特征融合
计算机视觉与模式识别
2026-03-05 v5
摘要
U型网络通过跳过连接桥接高级别语义和低级别空间细节，已成为医学图像分割中的基础框架。尽管如此，传统的跳过连接存在两个关键局限性：特征间约束和特征内约束。特征间约束指的是传统跳过连接中特征融合的静态性质，信息沿固定路径传输，无论特征内容如何。特征内约束则源于对多尺度特征相互作用建模不足，从而阻碍了对全局上下文信息的有效聚合。为克服这些局限性，我们提出了一种新型的动态跳过连接（Dynamic Skip Connection, DSC）模块，通过自适应机制根本性地增强了跨层连接。DSC模块集成了两个互补组件：（1）测试时训练（Test-Time Training, TTT）模块。该模块通过在推理期间动态调整隐藏表征，解决特征间约束，促进内容感知的特征细化。（2）动态多尺度卷积核（Dynamic Multi-Scale Kernel, DMSK）模块。为缓解特征内约束，该模块根据全局上下文线索自适应选择卷积核大小，增强网络在多尺度特征集成方面的能力。DSC模块具有无特定架构要求，可无缝集成到现有的U型网络结构中。广泛的实验表明，所提出的DSC模块在基于CNN、基于Transformer、混合CNN-Transformer以及基于Mamba的U型网络中均显示出即插即用的有效性。
引用
@article{arxiv.2509.14610,
title = {Enhancing Feature Fusion of U-like Networks with Dynamic Skip Connections},
author = {Yue Cao and Quansong He and Kaishen Wang and Jianlong Xiong and Zhang Yi and Tao He},
journal= {arXiv preprint arXiv:2509.14610},
year = {2026}
}