语义深度跨模态特征迁移：在成像模态间传递特征描述子
计算机视觉与模式识别
2019-07-29 v1 机器学习
图像与视频处理
摘要
在恶劣环境条件下，RGB相机的视野可能受雾、灰尘或困难光照情形的限制。由于热成像相机可视化热辐射，它们不受RGB相机同样的限制。然而，由于RGB与热成像在表观上差异显著，常见的先进特征描述子不适用于这些成像模态间的跨模态特征匹配。因此，当前使用RGB相机创建的视觉地图无法用于热成像相机的定位。本文中，我们提出语义深度跨模态特征迁移（Se-DIFT），一种将图像特征描述子从可见光谱迁移到热光谱及反之的方法。为此，我们使用深度卷积编码器-解码器架构结合全局特征向量来预测不同成像模态下潜在的特征表观。由于热图像的表示不仅受可从RGB图像提取的特征影响，我们引入了全局特征向量以增强自编码器的编码。该全局特征向量包含从外部数据源自动提取的关于场景热历史的附加信息。通过增强编码器的编码，与传统U-Net架构的预测相比，我们将预测的L1误差降低了7%以上。为评估我们的方法，我们使用Se-DIFT匹配在RGB与热图像中检测到的图像特征描述子。随后，我们利用我们的方法对SIFT、SURF和ORB特征的跨模态可迁移性进行了竞争性比较。
引用
@article{arxiv.1907.11436,
title = {Semantic Deep Intermodal Feature Transfer: Transferring Feature Descriptors Between Imaging Modalities},
author = {Sebastian P. Kleinschmidt and Bernardo Wagner},
journal= {arXiv preprint arXiv:1907.11436},
year = {2019}
}