基于视频的决策树对比学习：从动作识别到自闭症诊断
计算机视觉与模式识别
2023-04-24 v2
摘要
我们如何教计算机识别 10,000 种不同的动作？深度学习已从监督、无监督演进到自监督方法。本文提出一种基于对比学习的框架，用于基于决策树的人体动作分类，包括人人交互(HHI)与人物交互(HOI)。其核心思想是将原始的多类动作识别转化为在预构建决策树上的一系列二分类任务。在新对比学习框架下，我们设计了以骨架图为主干的相互作用邻接矩阵(IAM)，用于建模周期性、对称性等多种动作相关属性。通过构建多种 pretext 任务，我们在决策树上获得一系列可组合以支持更高层识别任务的二分类节点。我们方法在现实应用中的潜力通过从交互识别到对称性检测的实验得到佐证。特别地，我们在 CalTech 访谈视频数据库上展示了基于视频的自闭症谱系障碍(ASD)诊断的优异性能。
引用
@article{arxiv.2304.10073,
title = {Video-based Contrastive Learning on Decision Trees: from Action Recognition to Autism Diagnosis},
author = {Mindi Ruan and Xiangxu Yu and Na Zhang and Chuanbo Hu and Shuo Wang and Xin Li},
journal= {arXiv preprint arXiv:2304.10073},
year = {2023}
}
备注
Accepted by ACM Multimedia Systems Conference 2023