S2P3：基于自监督的偏振姿态预测
计算机视觉与模式识别
2023-12-05 v1
摘要
本文提出了首个基于多模态 RGB+偏振图像的自监督 6D 物体姿态预测方法。这一新颖的训练范式包括：1）一个用于提取偏振光几何信息的物理模型；2）一种教师—学生知识蒸馏方案；3）一种通过可微渲染与可逆物理约束构建的自监督损失函数。两个网络均利用偏振光的物理特性，通过编码由我们的物理模型推导出的形状先验与偏振特性来学习鲁棒的几何表示。教师网络提供的几何伪标签使学生网络无需任何真实标注数据即可进行训练。通过可微渲染器结合预测姿态获得物体的稠密外观与几何信息，从而实现自监督的直接耦合。学生网络还采用了我们所提出的形状先验的可逆公式化，使其能够通过将推导出的偏振特性与偏振输入图像进行物理约束比较，实现端到端的自监督训练。我们特别关注具有无纹理或反射表面以及透明材质等光度学挑战性物体，并在这些对象上取得了最为显著的性能提升。
引用
@article{arxiv.2312.01105,
title = {S2P3: Self-Supervised Polarimetric Pose Prediction},
author = {Patrick Ruhkamp and Daoyi Gao and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2312.01105},
year = {2023}
}
备注
Accepted at IJCV