层次化动作识别：基于层次化交互的对比视频-语言方法
计算机视觉与模式识别
2024-05-29 v1 多媒体
摘要
视频识别仍是开放性挑战，需在视频中识别多样化的内容类别。主流方法通常进行平层分类，忽略了与类别之间内在层次结构的关联。为此，我们正式化了层次化视频识别的新任务，并提出了针对层次化识别的视频-语言学习框架。具体而言，我们的框架编码了层次化类别层级之间的依赖关系，并应用自上而下的约束来过滤识别预测。我们进一步构建了一个基于医学评估的数据集，用于康复中风患者，作为层次化识别的具挑战性基准。通过大量实验，我们展示了该方法在层次化识别方面的有效性，尤其在细粒度子类别方面显著优于传统方法。该提出框架为视频理解任务中的层次化建模铺平了道路，超越平层分类。
引用
@article{arxiv.2405.17729,
title = {Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions},
author = {Rui Zhang and Shuailong Li and Junxiao Xue and Feng Lin and Qing Zhang and Xiao Ma and Xiaoran Yan},
journal= {arXiv preprint arXiv:2405.17729},
year = {2024}
}