用于少样本单视图三维重建的姿态自适应双重 Mixup
计算机视觉与模式识别
2021-12-24 v1
摘要
我们提出一种姿态自适应少样本学习流程以及一种两阶段数据插值正则化方法，称为姿态自适应双重 Mixup（PADMix），用于单图像三维重建。尽管通过插值特征-标签对进行增强在分类任务中有效，但由于在渲染视角未知时两幅图像与体素的插值产物间存在不一致，其在形状预测上表现不佳。PADMix 以顺序执行的两组 mixup 流程解决此问题。我们首先执行输入 mixup，结合姿态自适应学习流程，有助于学习二维特征提取与姿态自适应潜编码。分阶段训练使我们能够基于姿态不变表示，在特征与真实体素间一对一对应下执行后续的潜 mixup。PADMix 在 ShapeNet 数据集的少样本设定上显著优于已有文献，并在更具挑战性的真实世界 Pix3D 数据集上树立了新的基准。
引用
@article{arxiv.2112.12484,
title = {Pose Adaptive Dual Mixup for Few-Shot Single-View 3D Reconstruction},
author = {Ta-Ying Cheng and Hsuan-Ru Yang and Niki Trigoni and Hwann-Tzong Chen and Tyng-Luh Liu},
journal= {arXiv preprint arXiv:2112.12484},
year = {2021}
}
备注
To appear in the Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI), February 2022