深度学习能识别细微的人类活动吗？
计算机视觉与模式识别
2020-04-01 v1
摘要
深度学习推动了计算机视觉近期令人兴奋的进展，使人们相信这些算法可以解决任何视觉任务。然而，常用于训练和测试计算机视觉算法的数据集存在普遍的混淆因素。这些偏差使得难以真正估计这些算法的性能以及计算机视觉模型在多大程度上能在其训练分布之外进行外推。在这项工作中，我们提出了一项新的动作分类挑战，人类在该任务上表现良好，但最先进的深度学习模型表现不佳。作为原理验证，我们考虑了三个示例任务：喝水、阅读和坐下。使用最先进的计算机视觉模型达到的最佳准确率分别为 61.7%、62.8% 和 76.8%，而人类参与者在三项任务上的准确率均超过 90%。我们提出了一种严格的方法，以在创建数据集以及比较人类与计算机视觉性能时减少混淆因素。源代码和数据集已公开。
引用
@article{arxiv.2003.13852,
title = {Can Deep Learning Recognize Subtle Human Activities?},
author = {Vincent Jacquot and Zhuofan Ying and Gabriel Kreiman},
journal= {arXiv preprint arXiv:2003.13852},
year = {2020}
}
备注
poster at CVPR 2020, includes supplementary figures