在动作预测中寻找可预测性孤岛
计算机视觉与模式识别
2022-10-17 v1 机器学习
摘要
我们解决密集动作预测问题：基于部分观测预测长时间跨度上的未来动作序列。我们的核心见解是，未来动作序列用可变的而非单一的抽象层级建模更为准确，并且最优抽象层级可在预测过程中动态选择。我们的实验表明，未来动作序列的大部分只能在很小的未来帧片段中以精细细节被自信地预测，这些片段 effectively 是不确定性“海洋”中模型预测高置信度的“孤岛”。我们提出一种贝叶斯神经网络与分层卷积分割模型相结合的方法，以准确预测未来动作并最优选择抽象层级。我们在标准数据集上针对现有最先进系统评估该方法，并证明我们的“可预测性孤岛”方法在保持细粒度动作预测的同时，也能在以往系统无法做到之处做出准确的抽象预测，从而带来准确性大幅、单调的提升。
引用
@article{arxiv.2210.07354,
title = {Finding Islands of Predictability in Action Forecasting},
author = {Daniel Scarafoni and Irfan Essa and Thomas Ploetz},
journal= {arXiv preprint arXiv:2210.07354},
year = {2022}
}