BriMA：多模态持续动作质量评估的桥接模态适应
计算机视觉与模式识别
2026-02-24 v1
摘要
动作质量评估（Action Quality Assessment，AQA）旨在评估动作执行的质量，广泛应用于体育分析、康复评估和人类技能评估。多模态AQA最近通过利用视觉和运动学线索的互补性取得了显著进展，但实际部署常因非平稳模态不平衡而受限，即某些模态因传感器故障或标注缺失而缺失或间歇性可用。现有持续AQA方法忽视了这一问题，假设所有模态在训练期间保持完整稳定，这限制了其实际应用价值。为解决这一挑战，我们提出桥接模态适应（Bridged Modality Adaptation，BriMA），一种针对模态缺失情况下的多模态持续AQA创新方法。BriMA包含一个基于记忆引导的桥接插值模块，用于重建缺失的模态，该模块利用任务无关和任务特定表示；以及一种模态感知回放机制，根据模态失真和分布漂移优先选择信息丰富的样本。在三个代表性多模态AQA数据集（RG、Fis-V和FS1000）上的实验表明，BriMA在不同模态缺失条件下均能显著提升性能，平均提高6--8%的相关性，降低12--15%的误差。这些结果表明该方法步步正途，致力于构建面向实际部署约束的鲁棒多模态AQA系统。
引用
@article{arxiv.2602.19170,
title = {BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment},
author = {Kanglei Zhou and Chang Li and Qingyi Pan and Liyuan Wang},
journal= {arXiv preprint arXiv:2602.19170},
year = {2026}
}
备注
Accepted to CVPR 2026