为什么我打不开抽屉？缓解零样本组合动作识别中的物体驱动捷径
计算机视觉与模式识别
2026-04-08 v2 人工智能
摘要
零样本组合动作识别(ZS-CAR)需要识别由先前观察到的基元组成的新颖动词-物体组合。在本工作中，我们解决一个关键的失败模式：模型通过物体驱动的捷径(即依赖标注的物体类别)而非时序证据来预测动词。我们认为，稀疏的组合监督和动词-物体学习不对称性可能促进物体驱动的捷径学习。我们使用提出的诊断指标进行的分析表明，现有方法过拟合于训练共现模式，并且未充分利用时序动词线索，导致对未见组合的泛化能力弱。为了解决物体驱动的捷径，我们提出了鲁棒组合表示(RCORE)，包含两个组件。共现先验正则化(CPR)为未见组合添加显式监督，并通过将频繁共现先验视为难负例来对模型进行正则化。组合时序顺序正则化(TORC)强制时序顺序敏感性，以学习时序基础的动词表示。在Sth-com和EK100-com上，RCORE减少了捷径诊断指标，从而改善了组合泛化。
引用
@article{arxiv.2601.16211,
title = {Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition},
author = {Geo Ahn and Inwoong Lee and Taeoh Kim and Minho Shim and Dongyoon Wee and Jinwoo Choi},
journal= {arXiv preprint arXiv:2601.16211},
year = {2026}
}
备注
The code is available at https://github.com/KHU-VLL/RCORE