通过立体注意力实现自上而下的立体图像质量评价
计算机视觉与模式识别
2023-11-15 v3 多媒体
图像与视频处理
摘要
立体图像质量评价（SIQA）在评估和提升 3D 内容的视觉体验方面起着关键作用。现有的基于视觉属性的 SIQA 方法已取得令人瞩目的性能。然而，这些方法忽略了自上而下（top-down）的哲学，导致对 human visual system（HVS，人类视觉系统）和 SIQA 缺乏全面把握。本文提出一种新颖的 Stereo AttenTion Network（SATNet，立体注意力网络），采用自上而下视角引导质量评价过程。具体而言，我们通用的 Stereo AttenTion（SAT，立体注意力）结构针对立体场景适配组件与输入/输出。它利用融合生成的注意力图作为更高层次的双目调制器，影响两个较低层次的单目特征，从而在整个流程中实现二者的渐进重校准。此外，我们引入 Energy Coefficient（EC，能量系数）以灵活调节双目响应的幅度，考虑到灵长类初级视觉皮层中的双目响应小于单目响应之和这一事实。为从单目特征两分支的求和与求差中提取最具判别性的质量信息，我们采用双池化策略，对相应分支施加 min-pooling（最小池化）和 max-pooling（最大池化）操作。实验结果凸显了我们自上而下方法在推进 SIQA 领域 SOTA（state-of-the-art，最先进水平）方面的优越性。代码见 https://github.com/Fanning-Zhang/SATNet。
引用
@article{arxiv.2308.04156,
title = {Towards Top-Down Stereo Image Quality Assessment via Stereo Attention},
author = {Huilin Zhang and Sumei Li and Haoxiang Chang and Peiming Lin},
journal= {arXiv preprint arXiv:2308.04156},
year = {2023}
}
备注
12 pages, 5 figures