BARC：利用品种信息从图像回归三维狗形状的学习方法

我们的目标是从单张图像中恢复狗的三维形状与姿态。这是一项具有挑战性的任务，因为狗展现出广泛的体型与外观，且关节高度灵活。近期工作提出直接从图像回归带有额外肢体尺度参数的SMAL动物模型。我们的方法称为BARC（Breed-Augmented Regression using Classification，基于分类的品种增强回归），在几个重要方面超越了先前的工作。首先，我们修改了SMAL形状空间，使其更适于表示狗的形状。但是，即便有了更好的形状模型，从图像回归狗形状的问题仍然具有挑战性，因为我们缺乏带有三维真值的配对图像。为弥补配对数据的缺失，我们构建了利用狗品种信息的新型损失函数。具体而言，我们利用同品种狗具有相似体型的这一事实。我们提出了一种由两部分组成的新型品种相似度损失：一项鼓励同品种狗的形状比不同品种狗的形状更相似；第二项品种分类损失有助于生成可识别的品种特异性形状。通过消融实验，我们发现我们的品种损失相比无此损失的基线显著提升了形状精度。我们还通过感知实验将BARC与WLDO进行定性比较，发现我们的方法生成的狗明显更逼真。本工作表明，关于遗传相似性的先验信息有助于弥补三维训练数据的不足。这一概念可能适用于其他动物物种或物种群。我们的代码已公开供研究使用：https://barc.is.tue.mpg.de/。