HAKE：人体活动知识引擎
计算机视觉与模式识别
2019-08-07 v5 人工智能
机器学习
摘要
人体活动理解对于构建自动智能系统至关重要。在深度学习的帮助下，活动理解近来已取得巨大进展。但诸如数据分布不平衡、动作歧义、复杂视觉模式等挑战仍然存在。为解决这些问题并推动活动理解，我们基于人体部位状态构建了一个大规模人体活动知识引擎（HAKE）。在现有活动数据集上，我们标注了所有图像中所有活动人物的部位状态，从而建立实例活动与身体部位状态之间的关系。此外，我们提出了一种基于 HAKE 的部位状态识别模型，带有一个名为 Activity2Vec 的知识提取器以及相应的基于部位状态的推理网络。借助 HAKE，我们的方法能缓解长尾数据分布带来的学习困难，并带来可解释性。目前我们的 HAKE 已有超过 700 万+ 部位状态标注，且仍在建设中。我们在本初步论文中首先在 HAKE 的一部分上验证我们的方法，其中我们在人-物交互识别上展示了 7.2 mAP 的性能提升，并在少样本子集上展示了 12.38 mAP 的提升。
引用
@article{arxiv.1904.06539,
title = {HAKE: Human Activity Knowledge Engine},
author = {Yong-Lu Li and Liang Xu and Xinpeng Liu and Xijie Huang and Yue Xu and Mingyang Chen and Ze Ma and Shiyi Wang and Hao-Shu Fang and Cewu Lu},
journal= {arXiv preprint arXiv:1904.06539},
year = {2019}
}
备注
Work in progress. Project website: http://hake-mvig.cn