面向零样本学习的目标导向凝视估计
计算机视觉与模式识别
2021-03-08 v1
摘要
零样本学习（ZSL）旨在通过将从已见类迁移到未见类的语义知识来识别新颖类别。由于语义知识建立在各类别间共享的属性之上，而这些属性具有高度局部性，因此用于对象属性定位的强先验有益于视觉-语义嵌入。有趣的是，在识别未见图像时，人类也会自动注视具有特定语义线索的区域。因此，我们引入一种新颖的目标导向凝视估计模块（GEM），基于类级属性来改进 ZSL 的判别性属性定位。我们的目标是预测实际人类凝视位置，以获取在属性描述引导下进行新颖对象识别的视觉注意区域。具体而言，利用目标导向 GEM 学习任务依赖的注意力，并同时优化全局图像特征与局部属性特征的回归。在三个 ZSL 基准（即 CUB、SUN 和 AWA2）上的实验表明，我们所提方法相对于最先进的 ZSL 方法具有优越性或竞争力。在真实凝视数据 CUB-VWSW 上的消融分析也验证了我们的凝视估计模块的优势与准确性。本工作暗示了收集人类凝视数据集与自动凝视估计算法对高层计算机视觉任务的有益前景。代码可在 https://github.com/osierboy/GEM-ZSL 获取。
引用
@article{arxiv.2103.03433,
title = {Goal-Oriented Gaze Estimation for Zero-Shot Learning},
author = {Yang Liu and Lei Zhou and Xiao Bai and Yifei Huang and Lin Gu and Jun Zhou and Tatsuya Harada},
journal= {arXiv preprint arXiv:2103.03433},
year = {2021}
}
备注
Accepted by CVPR2021