KITINet：基于动力学理论的网络架构与 PDE 仿真方法
机器学习
2025-05-26 v1
摘要
尽管残差连接在现代神经网络中已广为人知，但其设计原则仍大多基于经验。本文引入 KITINet（动力学理论启发的网络），一种新型架构，将特征传播重新解释为非平衡粒子动力学和偏微分方程（PDE）仿真的视角。其核心是提出一种残差模块，将特征更新建模为粒子系统的随机演化，通过对布尔赫曼输运方程（BTE）的离散求解器进行数值模拟。该公式模拟粒子碰撞和能量交换， enables 通过 physics-informed 交互实现自适应特征细化。此外，我们揭示了这一机制会在训练期间诱导网络参数浓缩，其中参数逐渐集中到少数主导通道。在科学计算（PDE 算子）、图像分类（CIFAR-10/100）和文本分类（IMDb/SNLI）上的实验表明，该方法在经典网络基线上实现了持续的改进，同时 FLOPs 的增加几乎可以忽略不计。
引用
@article{arxiv.2505.17919,
title = {KITINet: Kinetics Theory Inspired Network Architectures with PDE Simulation Approaches},
author = {Mingquan Feng and Yifan Fu and Tongcheng Zhang and Yu Jiang and Yixin Huang and Junchi Yan},
journal= {arXiv preprint arXiv:2505.17919},
year = {2025}
}