动作中的肌肉
计算机视觉与模式识别
2023-03-22 v3 组织与器官
摘要
人体运动由我们的肌肉产生，并受限于我们的肌肉。我们迈出了构建计算机视觉方法的第一步，以表示引起运动的内部肌肉活动。我们提出了一个新数据集——动作中的肌肉（MIA），用于学习将肌肉活动纳入人体运动表示中。该数据集包含 10 名受试者进行各种锻炼时的 12.5 小时同步视频和表面肌电图（sEMG）数据。利用该数据集，我们学习了一种双向表示，可从视频预测肌肉激活，反之，从肌肉激活重建运动。我们在分布内受试者和锻炼以及分布外受试者和锻炼上评估了我们的模型。我们展示了联合建模这两种模态的进展如何可作为肌肉一致运动生成的条件。将肌肉纳入计算机视觉系统将实现更丰富的虚拟人体模型，在体育、健身和 AR/VR 中具有应用前景。
引用
@article{arxiv.2212.02978,
title = {Muscles in Action},
author = {Mia Chiquier and Carl Vondrick},
journal= {arXiv preprint arXiv:2212.02978},
year = {2023}
}