基于环视相机的自动驾驶整体视觉感知

眼睛的形成引发了进化的寒武爆发。动力学从原始生物等待食物接触进食，转变为由视觉传感器主动觅食。人眼是进化中最精妙的发展之一，但仍存在缺陷。人类在数百万年中进化出了能够驾驶汽车、操作机械、驾驶飞机和导航船舶的生物感知算法。将这些能力在计算机上自动化对于包括自动驾驶汽车、增强现实和建筑测绘在内的多种应用至关重要。在自动驾驶汽车语境下的近场视觉感知，可感知车辆周围 $0-10$ 米范围、360{\deg} 覆盖的环境。它是更安全自动驾驶开发中的关键决策组件。计算机视觉与深度学习的最新进展，结合相机与 LiDAR 等高质量传感器，推动了成熟的视觉感知方案。迄今，远场感知一直是主要关注点。另一重大问题是可用于开发实时应用的计算能力有限。由于这一瓶颈，性能与运行效率之间常需权衡。为应对这些问题，我们聚焦于：1) 利用卷积神经网络，为几何与语义等各类视觉感知任务开发高性能、低计算复杂度的近场感知算法；2) 利用多任务学习（Multi-Task Learning），通过任务间共享初始卷积层并制定平衡任务的优化策略，克服计算瓶颈。