事件传感器的最优实时反馈控制

基于事件的视觉传感器产生一个异步事件流，当像素强度变化超过预定义阈值时触发。此类传感器具有显著优势，包括减少数据冗余、微秒级时间分辨率和低功耗，使其在机器人和计算机视觉等应用中具有重要价值。本文我们考虑从事件重建视频的问题，并提出一种动态反馈控制阈值分配的方法，其中控制网络分析过去发出的事件并预测下一段时间的最优阈值分布。此外，我们允许用户定义的目标峰值事件速率，以便控制网络被条件化并优化预测每个栏位的激活阈值，以产生最佳可能的视频重建。我们提出的OnTheFly控制方案是数据驱动的，并通过对离散事件表示的概率松弛进行端到端训练。我们展示了该方法在LPIPS感知图像不相似性指标上比固定阈值和随机变动阈值方案高出6-12%，在事件速率上高出49%，实现了更高质量的重建，同时实现了性能准确性与事件速率之间的细致平衡。此外，我们显示我们提供的OnTheFly控制采样策略是可解释的，并且反映了场景特征。来自物理准确模拟器的结果表明，我们提出的方法在增强事件相机用于图像重建及其他下游任务的实用性方面具有前景，为在硅上实现动态反馈EVS控制的硬件实现铺平了道路。