任务编程：学习数据高效的动作表示
计算机视觉与模式识别
2021-03-30 v2 机器学习
摘要
准确的训练集标注通常需要专门的领域知识，但从领域专家处获取可能繁重且耗时。这一问题在自动化行为分析中尤为突出，其中从视频跟踪数据中检测感兴趣的智能体运动或动作。为减少标注工作量，我们提出 TREBA：一种基于多任务自监督学习、用于行为分析且标注样本高效的轨迹嵌入学习方法。我们方法中的任务可由领域专家通过我们称为“任务编程”的过程高效设计，该过程使用程序显式编码领域专家的结构化知识。通过以少量编程任务的构建换取数据标注时间，可减少领域专家的总投入。我们使用来自行为神经科学的数据进行评估，其中利用专门领域知识识别行为。我们在跨两个领域（小鼠和果蝇）的三个数据集中给出实验结果。使用 TREBA 的嵌入，与最先进特征相比，我们在不损害准确性的情况下将标注负担减少了至多 10 倍。因此，我们的结果表明任务编程与自监督可作为减少领域专家标注工作的有效途径。
引用
@article{arxiv.2011.13917,
title = {Task Programming: Learning Data Efficient Behavior Representations},
author = {Jennifer J. Sun and Ann Kennedy and Eric Zhan and David J. Anderson and Yisong Yue and Pietro Perona},
journal= {arXiv preprint arXiv:2011.13917},
year = {2021}
}
备注
To appear in as an Oral in CVPR 2021. Code: https://github.com/neuroethology/TREBA. Project page: https://sites.google.com/view/task-programming