我该去散步吗？从视频数据估算能量消耗
计算机视觉与模式识别
2022-04-11 v2
摘要
我们探究了从人的视频观测中自动推断其身体活动所消耗千卡数的问题。为研究这一研究不足的任务，我们引入了 Vid2Burn——一个从视频数据估算能量消耗的全方位基准，涵盖高强度与低强度活动，并基于医学文献建立的模型推导能量消耗标注。实践中，训练集仅覆盖一定活动类型，重要的是验证模型是否确实捕捉了能量消耗的本质（例如涉及多少及哪些肌肉、其工作强度），而非记忆训练中所见特定活动类别的固定值。理想情况下，模型应超越此类类别特定偏置，对描绘训练时未显式出现的活动类别的视频回归能量消耗。鉴于此性质，Vid2Burn 附带一个跨类别基准，任务是对训练时未出现的身体活动类型回归能量消耗。对经修改用于能量消耗估计任务的先进视频识别方法的广泛评估展示了该问题的难度，尤其针对测试时新活动类型，标志着一个新的研究方向。数据集与代码见 https://github.com/KPeng9510/Vid2Burn。
引用
@article{arxiv.2202.00712,
title = {Should I take a walk? Estimating Energy Expenditure from Video Data},
author = {Kunyu Peng and Alina Roitberg and Kailun Yang and Jiaming Zhang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2202.00712},
year = {2022}
}
备注
Accepted to CVPR 2022 CVPM Workshop. Dataset and code are available at https://github.com/KPeng9510/Vid2Burn