TETO：基于教师观察的事件跟踪用于运动估计与帧插值
计算机视觉与模式识别
2026-03-25 v1
摘要
事件相机以微秒分辨率捕获每个像素的亮度变化，提供在 RGB 帧之间丢失的连续运动信息。然而，现有的基于事件的运动估计器依赖大规模合成数据，常常存在显著的 sim-to-real 差距。我们提出 TETO（Tracking Events with Teacher Observation），一个teacher-student 框架，通过从预训练的 RGB 跟踪器进行知识蒸馏，仅需约25分钟的无标注真实世界录制即可学习事件运动估计。我们的运动感知数据精选和查询抽样策略通过解耦主导的自我运动和物体运动，最大化有限数据上的学习。得到的估计器联合预测点轨迹和稠密光流，我们将其作为显式运动先验用于条件化预训练的视频扩散变换器进行帧插值。我们在 EVIMO2 和 DSEC 上实现了数量级更少的训练数据下的 state-of-the-art 点跟踪和光流估计，并演示准确的运动估计直接转化为更优的 BS-ERGB 和 HQ-EVFI 帧插值质量。
引用
@article{arxiv.2603.23487,
title = {TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation},
author = {Jini Yang and Eunbeen Hong and Soowon Son and Hyunkoo Lee and Sunghwan Hong and Sunok Kim and Seungryong Kim},
journal= {arXiv preprint arXiv:2603.23487},
year = {2026}
}