具有优先级数据增强的多任务零样本动作识别
计算机视觉与模式识别
2016-11-29 v1
摘要
零样本学习（Zero-Shot Learning，ZSL）有望通过规避传统模型训练需要对每个类别都有标注样本的要求来扩展视觉识别能力。这是通过在辅助数据上建立连接低级特征与标签空间语义描述的映射（称为视觉-语义映射）来实现的。复用学习到的映射将目标视频投影到嵌入空间中，从而允许通过最近邻推断识别新类别。然而，现有的 ZSL 方法因对不相交的辅助类和目标类假设相同的映射，而固有地受到辅助-目标域偏移的影响。这损害了 ZSL 在目标数据上的泛化精度。在本工作中，我们通过以模型为中心和数据为中心两种方式提升 ZSL 跨越该域偏移的泛化能力：构建具有更好泛化特性的视觉-语义映射，以及一种动态数据重加权方法，以优先处理与目标类相关的辅助数据。具体而言：(1) 我们引入多任务视觉-语义映射，通过将语义映射参数约束在低维流形上来改善泛化；(2) 我们探索优先级数据增强，通过添加根据与目标域相关性加权的额外样本来扩展辅助数据池。所提出的新模型被应用于具有挑战性的零样本动作识别问题，以展示其相对于现有 ZSL 模型的优势。
引用
@article{arxiv.1611.08663,
title = {Multi-Task Zero-Shot Action Recognition with Prioritised Data Augmentation},
author = {Xun Xu and Timothy M. Hospedales and Shaogang Gong},
journal= {arXiv preprint arXiv:1611.08663},
year = {2016}
}
备注
Published in ECCV 2016