可变换瓶颈网络
计算机视觉与模式识别
2019-08-27 v5
摘要
我们提出了一种通过卷积神经网络对图像内容进行细粒度三维操控的新方法，称之为可变换瓶颈网络（Transformable Bottleneck Network, TBN）。该方法在编码器-瓶颈-解码器架构中，将给定的空间变换直接应用于体积瓶颈。多视角监督促使网络学习在瓶颈内对特征空间进行空间解耦。所得的空间结构可用任意空间变换进行操控。我们展示了 TBN 在新视角合成中的有效性，在一项具有挑战性的基准上取得了最先进（state-of-the-art, SOTA）的结果。我们证明，为此任务训练的网络所产生的瓶颈包含有意义的空间结构，使我们能够直观地执行多种三维图像操控，远超训练期间所见的刚性变换。这些操控包括非均匀缩放、非刚性扭曲，以及融合不同图像的内容。最后，我们从瓶颈中提取显式三维结构，仅从单张输入图像实现了令人印象深刻的三维重建。
引用
@article{arxiv.1904.06458,
title = {Transformable Bottleneck Networks},
author = {Kyle Olszewski and Sergey Tulyakov and Oliver Woodford and Hao Li and Linjie Luo},
journal= {arXiv preprint arXiv:1904.06458},
year = {2019}
}
备注
Project Page: https://kyleolsz.github.io/TB-Networks/