CosineGate：基于余弦不兼容性的残差网络语义动态路由
神经与进化计算
2025-12-30 v1 人工智能
机器学习
摘要
现代深度残差网络通过评估每个残差块来计算所有残差块的值，尽管在恒等映射足以的情况下仍会产生大量冗余计算。我们引入 CosineGate，一种端到端可微的残差网络动态路由架构，使用 identity 与残差特征表示之间的余弦不兼容性作为自监督 skip 信号。CosineGate 通过余弦不兼容比（CIR）度量语义冗余度，定义为 ，并使用 Gumbel-Softmax 松弛以实现训练期间的 per-sample、per-block 门控。渐进的 FLOPs 正则化项控制平均计算用量，而不致 destabilize 优化。在 CIFAR-10 上，CosineGate 跨越 accuracy-efficiency Pareto 前沿：激进配置实现 89.9% 准确率，节省 24.1% FLOPs；平衡配置在 epoch 160 时达到 91.3% 准确率，节省 28.5% FLOPs；保守配置达到 93.2% 峰值准确率，计算减少幅度最小。这些结果在无需辅助监督、蒸馏或任务特定启发式的情况下，匹配或超越 ResNet-20（91.3%），同时降低计算。我们的结果表明，简单几何不兼容度量提供了原则且有效的残差动态路由信号。
引用
@article{arxiv.2512.22206,
title = {CosineGate: Semantic Dynamic Routing via Cosine Incompatibility in Residual Networks},
author = {Yogeswar Reddy Thota},
journal= {arXiv preprint arXiv:2512.22206},
year = {2025}
}
备注
Current experiments are limited to CIFAR-10 and MNIST; extending CosineGate to ImageNet-scale models remains future work