面向单视图图像$\mathrm{SO}(3)$物体推理的映像到二十面体投影
计算机视觉与模式识别
2022-11-16 v2 机器学习
摘要
基于2D图像推理3D物体具有挑战性，因为从不同的方向观察物体会导致外观变化。物体分类等任务对3D旋转不变，而姿态估计等任务则等变。然而，以2D图像作为输入时，通常无法将等变性作为模型约束，因为我们没有图像在平面外物体旋转下如何变化的先验模型。当前仅有的-等变模型需要点云或体素输入而非2D图像。本文提出一种基于二十面体群卷积的新颖架构，通过学习输入图像到二十面体的投影，在中进行推理。所得模型对中的旋转近似等变。我们将该模型应用于物体姿态估计与形状分类任务，发现其优于合理的基线。项目网站：\url{https://dmklee.github.io/image2icosahedral}
引用
@article{arxiv.2207.08925,
title = {Image to Icosahedral Projection for $\mathrm{SO}(3)$ Object Reasoning from Single-View Images},
author = {David Klee and Ondrej Biza and Robert Platt and Robin Walters},
journal= {arXiv preprint arXiv:2207.08925},
year = {2022}
}