双流对齐动作分割网络
计算机视觉与模式识别
2025-10-10 v1
摘要
动作分割是个既具挑战性又活跃的研究领域，涉及识别连续视频流中特定动作的发生时间和位置。大多数现有工作聚焦于单流方法，建模帧序列的时空特征。然而，近期研究转向双流方法，通过学习动作相关特征来提升动作分割性能。本文提出了双流对齐网络 (Dual-Stream Alignment Network, DSA Net)，并研究了将第二流的学习动作特征纳入以捕获动作和动作转换线索来指导分割的影响。两种流之间的通信通过时空上下文 (Temporal Context, TC) 块实现，该块使用跨注意力和量子基于动作引导调制 (Quantum-based Action-Guided Modulation, Q-ActGM) 融合互补信息，增强融合特征的表达能力。我们的方法是首个引入混合量子-经典机器学习框架用于动作分割的研究。我们的主要目标是通过特征对齐，使两个流 (帧级和动作级) 学习共享特征空间。通过提出的双流对齐损失实现，该损失包含三个组成部分：关系一致性、跨层对比和循环一致性重构损失。遵循 prior work，我们在多个多样化基准数据集上评估 DSA Net：GTEA、Breakfast、50Salads 和 EgoProcel。我们进一步通过大量消融研究展示了每个组件的有效性。值得注意的是，DSA Net 实现了最前沿的性能，显著优于现有方法。
引用
@article{arxiv.2510.07652,
title = {Dual-Stream Alignment for Action Segmentation},
author = {Harshala Gammulle and Clinton Fookes and Sridha Sridharan and Simon Denman},
journal= {arXiv preprint arXiv:2510.07652},
year = {2025}
}
备注
Journal Submission