UnweaveNet：解构活动故事
计算机视觉与模式识别
2022-04-05 v2
摘要
我们的生活可视为活动的复杂编织；我们从一个活动切换到另一个，以最大化成就或应对加诸于我们的需求。观察无脚本日常活动的视频时，我们通过称为解构（unweaving）的过程将视频解析为其组成的活动线索。为此，我们引入了一种显式捕捉活动线索的称为线索库（thread bank）的视频表示，以及能够检测目标变更与恢复过往活动的神经控制器，二者共同构成UnweaveNet。我们在无脚本第一人称数据集EPIC-KITCHENS的序列上训练并评估UnweaveNet。我们提出并展示了以自监督方式预训练UnweaveNet的有效性。
引用
@article{arxiv.2112.10194,
title = {UnweaveNet: Unweaving Activity Stories},
author = {Will Price and Carl Vondrick and Dima Damen},
journal= {arXiv preprint arXiv:2112.10194},
year = {2022}
}
备注
Accepted at IEEE/CVF Computer Vision and Pattern Recognition (CVPR) 2022