VisiTherS：用于人体轮廓的可见光-热红外立体视差估计

本文提出一种用于可见光-热红外立体视觉的新方法，侧重于人体轮廓的视差估计。可见光-热红外立体视觉面临若干挑战，包括遮挡以及两种光谱中纹理不同的匹配区域。在具有不同颜色、纹理和形状的两光谱间寻找匹配进一步增加了任务难度。为应对上述挑战，本文提出一种新方法，使用高分辨率卷积神经网络更好地捕捉两光谱间的关系。为此，采用改进的 HRNet 骨干网络进行特征提取。该 HRNet 骨干可在多尺度提取特征，从而捕捉精细细节与纹理，并得以利用局部与全局信息。为匹配可见光与热红外区域，我们的方法使用两条改进的 HRNet 流对每个图像块提取特征。随后通过拼接与相关操作将两流特征结合以预测视差。在公开数据集上的结果表明，所提方法有效，在 $\leq$ 1 像素误差上提升约 18 个百分点，凸显了其在提升该任务精度方面的潜力。VisiTherS 的代码已在 GitHub 提供：https://github.com/philippeDG/VisiTherS。