HAKE：面向人类活动理解的知识引擎基础
计算机视觉与模式识别
2023-09-18 v2 人工智能
机器学习
摘要
人类活动理解在人工智能中广受关注，并涵盖医疗和行为分析等多种应用。尽管深度学习取得了进展，该任务仍具挑战性。类物体识别的方案通常试图将像素直接映射到语义，但活动模式与物体模式大不相同，从而阻碍了成功。在本工作中，我们提出一种新范式，将该任务重构为两阶段：首先将像素映射到由原子活动基元张成的中间空间，然后以可解释逻辑规则对检测到的基元进行编程以推断语义。为提供具代表性的基元空间，我们构建了包含 26+ M 基元标签及来自人类先验或自动发现的逻辑规则的知识库。我们的框架，即人类活动知识引擎（HAKE），在具有挑战性的基准上相比经典方法展现出优越的泛化能力与性能。代码与数据见 http://hake-mvig.cn/。
引用
@article{arxiv.2202.06851,
title = {HAKE: A Knowledge Engine Foundation for Human Activity Understanding},
author = {Yong-Lu Li and Xinpeng Liu and Xiaoqian Wu and Yizhuo Li and Zuoyu Qiu and Liang Xu and Yue Xu and Hao-Shu Fang and Cewu Lu},
journal= {arXiv preprint arXiv:2202.06851},
year = {2023}
}
备注
HAKE 2.0; website: http://hake-mvig.cn/, code: https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/HAKE-Reason