利用鱼眼数据中畸变与语义的交互作用
计算机视觉与模式识别
2023-05-09 v2 人工智能
摘要
在这项工作中,我们提出了一种方法来塑造鱼眼特有的表示空间,以反映该数据模态中存在的畸变与语义上下文之间的交互作用。与其他类型相机相比,鱼眼数据具有更广视场的优势,但这是以高径向畸变为代价的。因此,远离图像中心的物体会出现形变,使得模型难以识别其语义上下文。虽然先前的工作尝试通过架构改动和训练增强来缓解该效应,但尚无工作尝试引导模型学习反映鱼眼数据固有的畸变与语义上下文交互的表示空间。我们引入一种利用该关系的方法:首先基于物体距图像中心的距离提取畸变类别标签;随后用一个加权对比损失来塑造骨干网络的表示空间,该损失将相同语义类别与相同畸变类别的物体约束在较低维嵌入空间内彼此接近。这个同时以语义与畸变信息训练的骨干网络随后在目标检测设定下微调,以经验性地评估所学表示的质量。我们表明,相较标准目标检测策略,该方法将平均精度均值(mAP)提升多达 1.1%,且比其他最先进的表示学习方法提升 0.6%。
引用
@article{arxiv.2305.00079,
title = {Exploiting the Distortion-Semantic Interaction in Fisheye Data},
author = {Kiran Kokilepersaud and Mohit Prabhushankar and Yavuz Yarici and Ghassan AlRegib and Armin Parchami},
journal= {arXiv preprint arXiv:2305.00079},
year = {2023}
}
备注
Accepted to IEEE Open Journal of Signals Processing