基于注意力机制的多模态对齐用于长期动作质量评估

长期动作质量评估（AQA）旨在评估持续数分钟的视频中人类活动的质量。该任务在自动化评估以乐器操演等艺术体育项目时发挥重要作用，其中对动作执行的准确性以及与背景音乐的时序同步性是表现评估的关键要求。然而，现有方法主要分为两类：一是单模态方法仅依赖视觉特征，对如音乐等多模态线索不足以建模；二是多模态方法通常采用简单的特征级对比融合，忽视深层跨模态协作和时序动态。结果是，这些方法难以捕捉模态之间复杂的相互作用，无法准确跟踪整个长序列中关键表现变化。为此，我们提出了长期多模态注意力一致性网络（LMAC-Net）。LMAC-Net引入多模态注意力一致性机制，以显式对齐多模态特征，实现视觉信息与音频信息的稳定集成，增强特征表示。具体而言，我们引入多模态局部查询编码器模块以捕获时序语义和跨模态关系，并采用两级评分评估以获得可解释结果。此外，还应用基于注意力的损失和回归损失，以联合优化多模态对齐和评分融合。在RG数据集和Fis-V数据集上的实验表明，LMAC-Net显著优于现有方法，验证了我们方法的有效性。