HieroAction：面向细粒度动作分析的分层引导视觉语言模型
计算机视觉与模式识别
2025-08-26 v1
摘要
在诸多领域如体育、健康和机器人等领域，对人类动作进行清晰且细致的反馈评估至关重要，因为决策不仅依赖最终结果，还依赖于可解释的推理过程。然而，大多数现有方法仅提供最终得分，缺乏解释或详细分析，限制了其实际应用价值。为此，我们引入HieroAction，一种能够提供准确且结构化的人类动作评估的视觉语言模型。HieroAction基于两个关键思想：（1）分步动作推理（Stepwise Action Reasoning），即为动作评估量身定制的链式思考过程，旨在引导模型从整体识别、通过子动作分析到最终评分，逐步评估动作，从而增强可解释性和结构化理解；（2）分层策略学习（Hierarchical Policy Learning），即一种强化学习策略，使模型能够学习细粒度子动作动力学并将其与高层动作质量对齐，从而提升评分精度。推理路径为评估过程提供结构化框架，而策略学习通过基于奖励的优化细化每个阶段。二者的融合确保了准确且可解释的评估，实验在多个基准数据集上显示出优异性能。代码将在接受后发布。
引用
@article{arxiv.2508.16942,
title = {HieroAction: Hierarchically Guided VLM for Fine-Grained Action Analysis},
author = {Junhao Wu and Xiuer Gu and Zhiying Li and Yeying Jin and Yunfeng Diao and Zhiyu Li and Zhenbo Song and Xiaomei Zhang and Zhaoxin Fan},
journal= {arXiv preprint arXiv:2508.16942},
year = {2025}
}