基于任务一致分数判别特征分布建模的持续动作评估
计算机视觉与模式识别
2024-07-16 v5
摘要
动作质量评估(AQA)是一项试图回答动作执行得有多好的任务。尽管已取得显著进展,现有AQA工作假设所有训练数据一次性可见用于训练,但无法实现评估新技术动作的持续学习。本工作中,我们解决AQA中的此类持续学习问题(Continual-AQA),其要求统一模型顺序学习AQA任务且不遗忘。我们建模Continual-AQA的思路是顺序学习一个任务一致的分数判别特征分布,其中潜在特征与分数标签表现出强相关性,而与任务或动作类型无关。从该视角出发,我们从两方面缓解Continual-AQA中的遗忘。首先,为将新数据与旧数据的特征融合为分数判别分布,提出一种新颖的特征-分数相关性感知重演方法,以有限内存存储并重用以往任务数据。其次,开发动作通用-特定图以学习并解耦动作通用与动作特定知识,从而更好地跨任务提取任务一致的分数判别特征。我们进行了大量实验以评估所提各组件的贡献。与现有持续学习方法的对比进一步验证了方法的有效性与通用性。数据与代码见 https://github.com/iSEE-Laboratory/Continual-AQA。
引用
@article{arxiv.2309.17105,
title = {Continual Action Assessment via Task-Consistent Score-Discriminative Feature Distribution Modeling},
author = {Yuan-Ming Li and Ling-An Zeng and Jing-Ke Meng and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2309.17105},
year = {2024}
}
备注
16 pages, 8 figures