探索多模态神经场景表示及其在热成像中的应用
计算机视觉与模式识别
2024-08-26 v2 人工智能
图形学
摘要
Neural Radiance Fields (NeRFs) 在一组 RGB 图像上训练后，迅速成为新视图合成任务新的事实标准。本文在多模态学习的背景下，对诸如 NeRFs 的神经场景表示进行了全面评估。具体而言，我们提出了将 RGB 以外的第二模态纳入 NeRFs 的四种不同策略：（1）在两种模态上独立从头训练；（2）在 RGB 上预训练并在第二模态上微调；（3）添加第二个分支；（4）添加一个单独的组件来预测附加模态的（颜色）值。我们选择热成像作为第二模态，因为其在光度方面与 RGB 差异很大，使其难以整合到神经场景表示中。为了评估所提出的策略，我们捕获了一个新的公开可用的多视图数据集 ThermalMix，包含六个常见物体和总共约 360 张 RGB 和热图像。我们在数据捕获之前采用跨模态标定，从而实现 RGB 和热图像之间的高质量对齐。我们的研究结果表明，为 NeRF 添加第二个分支在热图像的新视图合成中表现最佳，同时在 RGB 上也产生了令人信服的结果。最后，我们还表明我们的分析可以推广到其他模态，包括近红外图像和深度图。项目页面：https://mert-o.github.io/ThermalNeRF/。
引用
@article{arxiv.2403.11865,
title = {Exploring Multi-modal Neural Scene Representations With Applications on Thermal Imaging},
author = {Mert Özer and Maximilian Weiherer and Martin Hundhausen and Bernhard Egger},
journal= {arXiv preprint arXiv:2403.11865},
year = {2024}
}
备注
Accepted to ECCVW'24