CLIP-PCQA：探索面向主观评估的主观-对齐视觉-语言建模用于点云质量评估
计算机视觉与模式识别
2025-01-20 v1 多媒体
摘要
近年来，无参考点云质量评估（NR-PCQA）研究取得了显著进展。然而，现有方法大致寻求从视觉数据到平均意见分数（MOS）的直接映射函数，这与实际主观评估的机制相矛盾。为此，我们提出一种新型语言驱动的PCQA方法，命名为CLIP-PCQA。考虑到人类倾向于使用离散的质量描述（如"优秀"和"差"）而非具体分数来描述视觉质量，我们采用基于检索的映射策略来模拟主观评估过程。具体而言，基于CLIP理念，我们计算视觉特征与对应不同质量描述的多个文本特征之间的余弦相似度，其中引入了有效的对比损失和可学习的提示，以增强特征提取。同时，鉴于主观实验中存在的个人局限性和偏差，我们进一步将特征相似度转换为概率，并考虑意见得分分布（OSD）而非单一MOS作为最终目标。实验结果表明，CLIP-PCQA超越了其他国际前沿（SOTA）方法。
引用
@article{arxiv.2501.10071,
title = {CLIP-PCQA: Exploring Subjective-Aligned Vision-Language Modeling for Point Cloud Quality Assessment},
author = {Yating Liu and Yujie Zhang and Ziyu Shan and Yiling Xu},
journal= {arXiv preprint arXiv:2501.10071},
year = {2025}
}