基于注意力核平滑的高效神经受控微分方程
计算机视觉与模式识别
2026-02-03 v1
摘要
神经受控微分方程（Neural CDE）提供了一种强大的连续时间序列建模框架，但驱动控制路径的粗糙性常常限制了其效率。标准样条引入的高频波动迫使自适应求解器采取过小的步长，导致函数评估次数（NFE）显著增加。我们提出了一种替代方法，用核和高斯过程（GP）平滑来构建神经 CDE 路径，通过显式控制轨迹的规则性。为了恢复平滑过程中丢失的细节，我们提出了基于注意力的多视角 CDE（MV-CDE）及其卷积扩展（MVC-CDE），它们采用可学习的查询来指导路径重建。该框架允许模型在多个轨迹之间分配表示容量，每个轨迹捕获不同的时间模式。实证结果表明，我们的方法（使用 GP 的 MVC-CDE）在准确率上实现了领先优势，同时显著减少了 NFE 和总体推理时间。
引用
@article{arxiv.2602.02156,
title = {LoopViT: Scaling Visual ARC with Looped Transformers},
author = {Wen-Jie Shu and Xuerui Qiu and Rui-Jie Zhu and Harold Haodong Chen and Yexin Liu and Harry Yang},
journal= {arXiv preprint arXiv:2602.02156},
year = {2026}
}
备注
8 pages, 11 figures