身份保持变换:理解活动分类模型学到了什么
计算机视觉与模式识别
2019-12-16 v1
摘要
活动分类近来取得了巨大成功。在小数据集上的性能几乎饱和,人们正转向更大的数据集。是什么带来了模型性能的提升,模型学到了什么?在本文中我们提出身份保持变换(IPT)来研究这一问题。IPT操纵数据的干扰因素(背景、视角等),同时保持与任务相关的因素(人体运动)不变。令我们惊讶的是,我们发现流行的模型利用高度相关的信息(背景、物体)来实现高分类准确率,而非使用本质信息(人体运动)。这可以解释为何活动分类模型通常无法泛化到其未训练过的数据集。我们使用合成图像以两种形式实现IPT,即图像空间变换与3D变换。该工具将开源以帮助研究模型与数据集设计。
引用
@article{arxiv.1912.06314,
title = {Identity Preserve Transform: Understand What Activity Classification Models Have Learnt},
author = {Jialing Lyu and Weichao Qiu and Xinyue Wei and Yi Zhang and Alan Yuille and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:1912.06314},
year = {2019}
}