面向弱监督动作分割的 HOI 感知自适应网络
计算机视觉与模式识别
2026-05-08 v1
摘要
本文提出一种名为 AdaAct 的 HOI 感知自适应网络，用于弱监督动作分割。大多数现有方法学习固定网络以预测每个帧及其相邻帧的动作，但这会导致对类似动作（如倒果汁和倒咖啡）估计时产生歧义。为此，我们旨在利用时序全局但空间局部的人-物交互（HOI）作为视频级先验知识进行动作分割。长期 HOI 序列为区分模糊动作提供关键的上下文信息，其中我们的网络在测试时针对给定 HOI 序列动态调整。具体而言，我们首先设计视频 HOI 编码器，以提取、选择并整合视频中最具代表性的 HOI。随后，我们提出一个双分支 HyperNetwork 以学习自适应时序编码器，自动根据各种视频的 HOI 信息在运行时调整参数。在包括 Breakfast 和 50Salads 两大常用数据集上的大量实验表明，我们方法在不同评估指标下均有效。
关键词
引用
@article{arxiv.2604.26227,
title = {HOI-aware Adaptive Network for Weakly-supervised Action Segmentation},
author = {Runzhong Zhang and Suchen Wang and Yueqi Duan and Yansong Tang and Yue Zhang and Yap-Peng Tan},
journal= {arXiv preprint arXiv:2604.26227},
year = {2026}
}
备注
Accepted to IJCAI 2023