SeeBel:眼见为实
计算机视觉与模式识别
2023-12-19 v1 人工智能
机器学习
摘要
语义分割是计算机视觉领域的一个重要研究方向。尽管这是一个被广泛研究的学科领域,但许多可视化工具并不能在同一视图中同时捕捉分割质量与数据集统计信息(如类别不平衡)。尽管在计算机视觉文献中,发现并内省数据集统计信息与 AI 模型性能之间的相关性(对于语义分割等密集预测计算机视觉任务)的重要性已得到充分确立,但据我们所知,尚未有可视化工具被提出用于查看与分析上述任务。我们的项目旨在通过提出三种可视化来弥合这一差距,这些可视化使用户能够比较数据集统计信息与 AI 在分割所有图像、数据集中单张图像时的性能,探索 AI 模型训练后对图像区域的注意力,并在同一工具中浏览 AI 为用户选择的任意数量物体预测的掩码质量。我们的项目试图通过可视化训练后的 AI 模型的图像注意力权重,进一步提高其在分割任务中的可解释性。在可视化方面,我们使用散点图与热力图分别编码相关性与特征。我们进一步提议对真实用户进行调查,以研究我们的可视化工具在计算机视觉与人工智能领域的有效性。完整系统可在 https://github.com/dipta007/SeeBel 访问。
引用
@article{arxiv.2312.10933,
title = {SeeBel: Seeing is Believing},
author = {Sourajit Saha and Shubhashis Roy Dipta},
journal= {arXiv preprint arXiv:2312.10933},
year = {2023}
}
备注
PrePrint