基于短语的可供性检测：循环双向交互方法
计算机视觉与模式识别
2022-02-28 v2 人工智能
摘要
可供性检测指感知图像中具有潜在动作可能性的对象，由于真实应用场景中可能的可供性取决于人的目的，该任务具有挑战性。现有工作主要从图像/视频中提取固有的人-物依赖关系，以适应动态变化的可供性属性。本文从视觉-语言视角探索可供性感知，并考虑具有挑战性的基于短语的可供性检测问题，即给定一组描述动作目的的短语，应检测出场景中具有相同可供性的所有对象区域。为此，我们提出循环双向一致性增强网络（CBCE-Net）以渐进对齐语言与视觉特征。具体而言，所提CBCE-Net由相互引导的视觉-语言模块（以渐进方式更新视觉与语言的公共特征）和循环交互模块（CIM，以循环方式促进对对象可能交互的感知）组成。此外，我们通过用短短语标注可供性类别扩展了公开的目的驱动可供性数据集（PAD）。对比实验结果在客观指标与视觉质量上均证明了我们的方法优于来自四个相关领域的九种典型方法。相关代码与数据集将发布于\url{https://github.com/lulsheng/CBCE-Net}。
引用
@article{arxiv.2202.12076,
title = {Phrase-Based Affordance Detection via Cyclic Bilateral Interaction},
author = {Liangsheng Lu and Wei Zhai and Hongchen Luo and Yu Kang and Yang Cao},
journal= {arXiv preprint arXiv:2202.12076},
year = {2022}
}