SENSE：一种用于场景流估计的共享编码器网络
计算机视觉与模式识别
2019-10-29 v1
摘要
我们介绍一种用于整体场景流估计的紧凑网络，称为 SENSE，它在四个紧密相关的任务之间共享公共编码器特征：光流估计、基于立体视觉的视差估计、遮挡估计与语义分割。我们的核心见解是，共享特征使网络更紧凑，产生更好的特征表示，并能更好地利用这些任务间的交互来处理部分标注数据。借助共享编码器，我们在训练时可灵活添加针对不同任务的解码器。这种模块化设计在推理时带来紧凑且高效的模型。利用这些任务间的交互，使我们除监督损失外还能引入蒸馏与自监督损失，从而更好地处理部分标注的真实世界数据。SENSE 在多个光流基准上取得了最先进（state-of-the-art）结果，并与专为光流设计的网络运行得一样快。同时在立体视觉与场景流上它也优于最先进水平，而内存消耗却少得多。
引用
@article{arxiv.1910.12361,
title = {SENSE: a Shared Encoder Network for Scene-flow Estimation},
author = {Huaizu Jiang and Deqing Sun and Varun Jampani and Zhaoyang Lv and Erik Learned-Miller and Jan Kautz},
journal= {arXiv preprint arXiv:1910.12361},
year = {2019}
}
备注
ICCV 2019 Oral