LFACon：在光场空间中引入角度注意力用于无参考质量评估
图像与视频处理
2024-12-11 v1 计算机视觉与模式识别
多媒体
摘要
光场成像能够捕获光线的强度信息与方向信息。它自然实现了六自由度观看体验以及在虚拟现实中的深度用户参与。与 2D 图像评估相比，光场图像质量评估（LFIQA）不仅需要考虑空间域中的图像质量，还需考虑角度域中的质量一致性。然而，缺乏有效反映角度一致性从而反映光场图像（LFI）角度质量的指标。此外，现有 LFIQA 指标因 LFI 数据量过大而计算成本高昂。在本文中，我们提出一种“角度注意力”新概念，将多头自注意力机制引入 LFI 的角度域。该机制更好地反映 LFI 质量。特别地，我们提出三种新注意力核，包括角度自注意力、角度网格注意力和角度中心注意力。这些注意力核可实现角度自注意力，全局或选择性地提取多角度特征，并降低特征提取的计算成本。通过有效整合所提核，我们进一步提出光场注意力卷积神经网络（LFACon）作为 LFIQA 指标。实验结果表明，所提 LFACon 指标显著优于最先进的 LFIQA 指标。对于大多数失真类型，LFACon 以更低复杂度和更少计算时间取得最佳性能。
引用
@article{arxiv.2303.10961,
title = {LFACon: Introducing Anglewise Attention to No-Reference Quality Assessment in Light Field Space},
author = {Qiang Qu and Xiaoming Chen and Yuk Ying Chung and Weidong Cai},
journal= {arXiv preprint arXiv:2303.10961},
year = {2024}
}
备注
Accepted for IEEE VR 2023 (TVCG Special Issues) (Early Access)