基于对抗增强的人体身体尺寸估计
计算机视觉与模式识别
2022-10-12 v1 人工智能
机器学习
摘要
我们提出一种身体尺寸网络（BMnet），用于从轮廓图像估计人体形状的三维拟人测量尺寸。BMnet 的训练在真实人体受试者数据上进行，并通过一种新颖的对抗身体模拟器（ABS）进行增强，该模拟器发现并合成具有挑战性的身体形状。ABS 基于蒙皮多人线性（SMPL）身体模型，旨在相对于潜在 SMPL 形状参数最大化 BMnet 的尺寸预测误差。ABS 相对于这些参数完全可微，并通过反向传播与 BMnet 在环中端到端训练。实验表明，ABS 有效发现了对抗样本，例如具有极端身体质量指数（BMI）的身体，这与 BMnet 训练集中极端 BMI 身体的稀少性一致。因此 ABS 能够揭示训练数据中的空白以及在预测代表性不足的身体形状时的潜在失败。结果显示，与无增强或随机身体形状采样相比，使用 ABS 训练 BMnet 在真实身体上的尺寸预测精度提高了至多 10%。此外，我们的方法显著优于最先进的尺寸估计方法多达 3 倍。最后，我们发布 BodyM，首个具有挑战性的大规模真实人体受试者照片轮廓与身体尺寸数据集，以进一步促进该领域的研究。项目网站：https://adversarialbodysim.github.io
引用
@article{arxiv.2210.05667,
title = {Human Body Measurement Estimation with Adversarial Augmentation},
author = {Nataniel Ruiz and Miriam Bellver and Timo Bolkart and Ambuj Arora and Ming C. Lin and Javier Romero and Raja Bala},
journal= {arXiv preprint arXiv:2210.05667},
year = {2022}
}
备注
Published at the International Conference on 3D Vision (3DV) 2022