利用知识蒸馏提升 AR 图像质量评估的内容表示
计算机视觉与模式识别
2024-12-10 v1 图像与视频处理
摘要
增强现实（AR）是一种重要的沉浸式媒体技术，通过将数字内容（前景）叠加到物理环境（背景）上来丰富我们对现实的感知。它具有广泛的应用前景，涵盖娱乐、游戏、教育、医疗和产业培训等领域。然而，视觉混淆和经典失真问题可能会导致用户在使用该技术时感到不适。评估AR用户体验质量变得至关重要，以衡量用户满意度和参与度，促进创造沉浸式和稳健体验的改进。尽管如此，数据稀缺且AR技术的独特特征使得开发有效的质量评估指标具有挑战性。本文提出了一种针对AR场景下图像质量评估设计的深度学习基于客观指标。该方法包含四个关键步骤：（1）微调基于自监督预训练的视觉变换器，以提取参考图像中的显著特征，并将其知识蒸馏以提高失真图像的表征；（2）通过计算位移表征来量化失真；（3）采用基于交叉注意力的解码器来捕获感知质量特征；（4）集成正则化技术和标签平滑，以解决过拟合问题。为验证所提方法的有效性，我们在ARIQA 数据集上进行了大量实验。结果在现有方法的所有模型变体（TransformAR、TransformAR-KD 和 TransformAR-KD+）方面都表现出优异的性能。
引用
@article{arxiv.2412.06003,
title = {Enhancing Content Representation for AR Image Quality Assessment Using Knowledge Distillation},
author = {Aymen Sekhri and Seyed Ali Amirshahi and Mohamed-Chaker Larabi},
journal= {arXiv preprint arXiv:2412.06003},
year = {2024}
}
备注
Submitted to the IEEE Transactions on Circuits and Systems for Video Technology