DIME-Net：基于神经网络的带光学防抖系统相机动态内参校正
计算机视觉与模式识别
2023-03-21 v1 机器人学
摘要
移动设备中的光学图像稳定（Optical Image Stabilization, OIS）系统通过转动镜头补偿手部抖动来减少图像模糊。然而，OIS 会动态改变相机内参（即 矩阵），从而阻碍准确的相机位姿估计或三维重建。本文提出一种基于神经网络的新方法，可实时估计 矩阵，使得位姿估计或场景重建能以相机原生分辨率运行，从而在移动设备上获得最高精度。我们的网络设计以满意的投影模型差异特征与三维点位置作为输入，并采用多层感知机（Multi-Layer Perceptron, MLP）来逼近 流形。我们还通过引入反向传播的 PnP（Back propagated PnP, BPnP）层为该网络设计了独特的训练方案，从而可采用重投影误差作为损失函数。训练过程利用精确标定图案来捕获准确的 流形，但训练好的网络可在任意地方使用。我们将所提出的动态内参流形估计网络命名为 DIME-Net，并在三种不同移动设备上实现与测试。在所有情况下，DIME-Net 能减少至少 的重投影误差，表明我们的设计是成功的。
引用
@article{arxiv.2303.11307,
title = {DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification for Cameras with Optical Image Stabilization System},
author = {Shu-Hao Yeh and Shuangyu Xie and Di Wang and Wei Yan and Dezhen Song},
journal= {arXiv preprint arXiv:2303.11307},
year = {2023}
}