SOFI：用于相机标定的多尺度可变形Transformer与增强线查询
计算机视觉与模式识别
2024-09-25 v1
摘要
相机标定包括估计相机参数，如天际线消失点和地平线。估计相机参数允许进行其他任务，如3D渲染、人工现实效果和图像中的物体插入。基于Transformer的模型已提供了有前景的成果，但缺乏跨尺度交互。在本工作中，我们引入了一种用于相机标定的多尺度可变形Transformer，增强了线查询（multi-Scale defOrmable transFormer for camera calibratIon with enhanced line queries, SOFI）。SOFI改进了CTRL-C和MSCC中使用的线查询，利用线内容和线几何特征。此外，SOFI的线查询允许Transformer模型采用多尺度可变形注意力机制，以促进由 backbone 生成的特征图之间的跨尺度交互。SOFI在Google Street View、Horizon Line in the Wild和Holicity数据集上超越了现有方法，同时保持了具竞争力的推理速度。
关键词
引用
@article{arxiv.2409.15553,
title = {SOFI: Multi-Scale Deformable Transformer for Camera Calibration with Enhanced Line Queries},
author = {Sebastian Janampa and Marios Pattichis},
journal= {arXiv preprint arXiv:2409.15553},
year = {2024}
}