VTAMIQ：用于注意力调制图像质量评估的 Transformer

继自注意力与 Transformer 在图像分析中取得重大成功之后，我们考察此类注意力机制在图像质量评估（IQA）中的应用，并提出一种新颖的全参考 IQA 方法——用于注意力调制图像质量的视觉 Transformer（VTAMIQ）。我们的方法在现有 IQA 数据集上取得有竞争力或最优性能，并在跨数据库评测中显著优于先前指标。多数分块 IQA 方法独立处理每个图像块；这部分丢弃了全局信息并限制了建模长距离交互的能力。我们通过采用 Transformer 将图像块序列编码为单一全局表示来彻底避免该问题，该表示在设计上即考虑了块间相互依赖。我们依托多种注意力机制——首先在 Transformer 内使用自注意力，其次在我们的差异调制网络内使用通道注意力——专门用以揭示并增强贯穿整个架构中更具显著性的特征。通过对分类与 IQA 任务的大规模预训练，VTAMIQ 对未见图像集与失真泛化良好，进一步展示了基于 Transformer 的网络在视觉建模中的优势。