对极变换器
计算机视觉与模式识别
2020-05-12 v1
摘要
在同步且标定的多视角设置中定位 3D 人体关节的常用方法包含两步：(1) 在每个视角上分别应用 2D 检测器以在 2D 中定位关节，(2) 对每个视角的 2D 检测结果执行鲁棒三角测量以获取 3D 关节位置。然而，在步骤 1 中，2D 检测器局限于纯粹在 2D 中解决具有挑战性的情形（如遮挡与偏斜视角），而无法利用任何 3D 信息，而这些情形本可能在 3D 中更好解决。因此，我们提出可微分的“对极变换器”，使 2D 检测器能够利用 3D 感知特征来改善 2D 姿态估计。其直觉是：给定当前视角中的 2D 位置 p，我们希望首先在相邻视角中找到其对应点 p'，然后将 p' 处的特征与 p 处的特征相融合，从而在 p 处得到 3D 感知特征。受立体匹配启发，对极变换器利用对极约束与特征匹配来近似 p' 处的特征。在 InterHand 与 Human3.6M 上的实验表明，我们的方法相较基线有一致提升。具体而言，在无外部数据使用的条件下，我们以 ResNet-50 主干与 256 x 256 图像尺寸训练的 Human3.6M 模型以 4.23 mm 优于最先进水平，并达到 MPJPE 26.9 mm。
引用
@article{arxiv.2005.04551,
title = {Epipolar Transformers},
author = {Yihui He and Rui Yan and Katerina Fragkiadaki and Shoou-I Yu},
journal= {arXiv preprint arXiv:2005.04551},
year = {2020}
}
备注
CVPR 2020