LMM-PCQA：利用大多模态模型辅助点云质量评估
计算机视觉与模式识别
2024-08-07 v2 人工智能
摘要
尽管大多模态模型（LMMs）在各种质量评估研究中得到了广泛的探索和应用，但它们与点云质量评估（PCQA）的整合仍未探索。鉴于LMMs在低级视觉和质量评估任务中的出色性能和鲁棒性，本研究旨在探索通过文本监督将PCQA知识传授给LMMs的可行性。为此，我们在微调阶段将质量标签转换为文本描述，使LMMs能够从点云的2D投影中推导出质量评级logits。为了补偿3D域中感知的损失，还提取了结构特征。然后将这些质量logits和结构特征组合并回归为质量分数。我们的实验结果证实了我们方法的有效性，展示了LMMs与PCQA的新颖整合，增强了模型理解和评估准确性。我们希望我们的贡献能够激发后续关于LMMs与PCQA融合的研究，促进3D视觉质量分析等领域的发展。代码可在https://github.com/zzc-1998/LMM-PCQA获取。
引用
@article{arxiv.2404.18203,
title = {LMM-PCQA: Assisting Point Cloud Quality Assessment with LMM},
author = {Zicheng Zhang and Haoning Wu and Yingjie Zhou and Chunyi Li and Wei Sun and Chaofeng Chen and Xiongkuo Min and Xiaohong Liu and Weisi Lin and Guangtao Zhai},
journal= {arXiv preprint arXiv:2404.18203},
year = {2024}
}