CoFInAl: 通过粗到细指令对齐增强动作质量评估
计算机视觉与模式识别
2024-10-08 v1
摘要
动作质量评估（AQA）对于量化体育和医疗等领域的动作至关重要。现有方法通常依赖从大规模动作识别数据集预训练的骨干网络来提升在较小AQA数据集上的性能。然而，这种常见策略由于这些骨干网络难以捕捉AQA所需的细微线索而产生次优结果。此外，在较小数据集上微调存在过拟合风险。为解决这些问题，我们提出粗到细指令对齐（CoFInAl）。受大语言模型微调最新进展的启发，CoFInAl通过将AQA重新表述为粗到细分类任务，使其与更广泛的预训练任务对齐。最初，它学习用于粗评估的等级原型，然后利用固定的子等级原型进行细粒度评估。这种分层方法模拟了评判过程，增强了AQA框架的可解释性。在两个长期AQA数据集上的实验结果表明，CoFInAl在韵律体操和Fis-V上分别实现了5.49%和3.55%的显著相关性提升，达到了最先进的性能。我们的代码可在https://github.com/ZhouKanglei/CoFInAl_AQA获取。
引用
@article{arxiv.2404.13999,
title = {CoFInAl: Enhancing Action Quality Assessment with Coarse-to-Fine Instruction Alignment},
author = {Kanglei Zhou and Junlin Li and Ruizhi Cai and Liyuan Wang and Xingxing Zhang and Xiaohui Liang},
journal= {arXiv preprint arXiv:2404.13999},
year = {2024}
}
备注
Accepted by IJCAI 2024