面向单目动态场景分解的语义注意力流场
计算机视觉与模式识别
2023-10-02 v2
摘要
我们从视频中重建一个神经体，捕捉随时间变化的颜色、密度、场景流、语义与注意力信息。语义与注意力使我们能在时空中将显著前景物体与背景分别辨识。为缓解低分辨率语义与注意力特征，我们计算以整体图像上下文换取细节的金字塔。优化后，我们执行感知显著性的聚类以分解场景。为评估真实世界场景，我们在 NVIDIA Dynamic Scene 与 DyCheck 数据集上标注了物体掩码。我们证明该方法能以无监督方式分解动态场景，性能可与有监督方法竞争，且相较近期静态/动态分离方法改进了前景/背景分割。项目主页：https://visual.cs.brown.edu/saff
引用
@article{arxiv.2303.01526,
title = {Semantic Attention Flow Fields for Monocular Dynamic Scene Decomposition},
author = {Yiqing Liang and Eliot Laidlaw and Alexander Meyerowitz and Srinath Sridhar and James Tompkin},
journal= {arXiv preprint arXiv:2303.01526},
year = {2023}
}
备注
International Conference on Computer Vision (ICCV) 2023; 10 pages, 8 figures, 3 tables