同类相求:从图像中捕捉鸟类形状模型
计算机视觉与模式识别
2021-05-21 v1
摘要
动物的形状多种多样,但由于缺乏三维数据,为新物种构建可变形形状模型并非总是可行。我们提出了一种利用关节模板和该物种图像来捕捉新物种的方法。在这项工作中,我们主要关注鸟类。尽管鸟类物种数量几乎是哺乳动物的两倍,但目前尚无准确的形状模型可用。为捕捉新物种,我们首先将关节模板拟合到每个训练样本上。通过解耦姿态与形状,我们从图像证据中学习一个形状空间,该空间捕捉物种间以及各物种内的变异。我们利用 CUB 数据集学习了多个物种的模型,并贡献了新的物种特异性与多物种形状模型,可用于下游重建任务。通过低维嵌入,我们表明所学到的三维形状空间比学得的感知特征更好地反映了鸟类之间的系统发育关系。
引用
@article{arxiv.2105.09396,
title = {Birds of a Feather: Capturing Avian Shape Models from Images},
author = {Yufu Wang and Nikos Kolotouros and Kostas Daniilidis and Marc Badger},
journal= {arXiv preprint arXiv:2105.09396},
year = {2021}
}
备注
CVPR 2021. Project website: https://yufu-wang.github.io/aves/