Motor Focus：面向辅助视觉导航的快速自运动预测
计算机视觉与模式识别
2024-12-18 v2
摘要
得益于移动计算的兴起，面向视障人士的辅助视觉导航系统变得越来越受欢迎。这些设备大多通过将视觉信息转换为语音指令来工作。在存在多个物体的复杂场景中，必须优先进行物体检测，并对特定方向上的关键实体提供即时通知。这就需要仅通过处理视觉信息来识别观察者的运动方向（自运动），这是本文的关键贡献。具体而言，我们引入了 Motor Focus，这是一个轻量级的基于图像的框架，可根据视觉输入预测自运动——人类（及人形机器）基于其视觉反馈的运动意图，同时无需任何相机校准即可滤除相机运动。为此，我们实现了一种基于光流的像素级时间分析方法来补偿相机运动，并使用高斯聚合来平滑运动预测区域。随后，为了评估性能，我们收集了一个数据集，包含 5 种不同场景下的 50 个行人场景片段。我们使用 SIFT 和 ORB 等经典特征检测器测试了该框架以进行比较。我们的框架在速度（> 40FPS）、精度（MAE = 60pixels）和鲁棒性（SNR = 23dB）方面展现了其优越性，证实了其增强复杂环境中基于视觉的辅助导航工具可用性的潜力。
引用
@article{arxiv.2404.17031,
title = {Motor Focus: Fast Ego-Motion Prediction for Assistive Visual Navigation},
author = {Hao Wang and Jiayou Qin and Xiwen Chen and Ashish Bastola and John Suchanek and Zihao Gong and Abolfazl Razi},
journal= {arXiv preprint arXiv:2404.17031},
year = {2024}
}