UniINR：事件引导的统一滚动快门校正、去模糊与插值

在相机快速运动期间，滚动快门（RS）相机捕获的视频帧经常同时出现RS失真和模糊。自然地，从RS模糊帧恢复高帧率全局快门（GS）清晰帧必须同时考虑RS校正、去模糊和帧插值。一种朴素的方法是将整个过程分解为独立任务并级联现有方法；然而，这会导致累积误差和明显伪影。事件相机具有诸多优势，例如高时间分辨率，使其成为解决我们问题的潜在方案。为此，我们提出首个新颖方法UniINR，从RS模糊帧和配对事件恢复任意帧率的清晰GS帧。我们的核心思想是将时空隐式神经表示（INR）统一，直接将从位置和时间坐标映射到颜色值，以应对交织的退化。具体而言，我们引入时空隐式编码（STE），将RS模糊图像和事件转换为时空表示（STR）。为查询特定清晰帧（GS或RS），我们将曝光时间嵌入STR，并逐像素解码嵌入特征以恢复清晰帧。我们的方法具有仅0.38M参数的轻量模型，并享有高推理效率，在RS模糊帧31倍帧插值中实现2.83ms/帧。大量实验表明我们的方法显著优于先前方法。代码可在 https://github.com/yunfanLu/UniINR 获取。