ID-Unet：用于视图合成的迭代式软硬形变

视图合成通常由自编码器完成，其中编码器将源视图图像映射为潜在内容编码，解码器依据条件将其变换为目标视图图像。然而，在此设定下源内容往往不能很好保留，导致视图转换过程中发生不必要的变化。尽管添加跳跃连接（如 Unet）缓解了该问题，但常造成视图一致性失败。本文提出一种新架构，以迭代方式执行源到目标的形变。我们设计软形变与硬形变模块，在不同分辨率上将编码器特征扭曲至目标视图，并将结果送入解码器以补充细节，而非简单融合编码器多层特征。特别地，当前扭曲流不仅用于对齐同分辨率特征，还作为粗略形变高分辨率特征的近似；随后在高分辨率下估计并应用残差流，从而以由粗到精的方式构建形变。为更好约束模型，我们基于中间流及其扭曲特征合成粗略目标视图图像。在两个不同数据集上的大量消融研究与最终结果展示了所提模型的有效性。