重拍需要反馈：一种面向视障人士的可解释低质图像提示框架
计算机视觉与模式识别
2022-11-18 v1 人工智能
计算与语言
人机交互
机器学习
摘要
我们提出了一种简单而有效的图像描述框架，能够判定图像质量并通知用户图像中缺陷的原因。我们的框架首先判定图像质量，然后仅使用被判定为高质量的那些图像来生成描述。若图像质量低，则通过缺陷特征通知用户重新拍摄，该循环重复直至输入图像被视为高质量。作为框架的一个组件，我们训练并评估了一个低质量图像检测模型，该模型同时学习图像识别的难度与个体缺陷，并且我们证明了我们的方案能以充分的分数解释缺陷原因。我们还评估了经本框架剔除低质量图像的数据集，发现四种常用指标（如 BLEU-4、METEOR、ROUGE-L、CIDEr）的值均有提升，证实了通用图像描述能力的改进。我们的框架将协助难以判断图像质量的视障人士。
引用
@article{arxiv.2211.09427,
title = {Feedback is Needed for Retakes: An Explainable Poor Image Notification Framework for the Visually Impaired},
author = {Kazuya Ohata and Shunsuke Kitada and Hitoshi Iyatomi},
journal= {arXiv preprint arXiv:2211.09427},
year = {2022}
}
备注
6 pages, 4 figures. Accepted at 2022 IEEE 19th International Conference on Smart Communities: Improving Quality of Life Using ICT, IoT and AI (HONET) as a full paper