适用于人类-人工智能协作的概念瓶颈模型在图像检索中的应用
计算机视觉与模式识别
2024-07-15 v1 人工智能
信息检索
摘要
图像检索在野生动物保育和医疗保健等应用中发挥着关键作用，用于寻找单个动物或相关图像以辅助诊断。尽管深度学习技术在图像检索方面取得了显著进展，但其在实际中的不完美性能往往需要纳入人类专家意见。人类在环方法通常依赖于人类独立完成任务，然后以各种方式将其意见与 AI 模型组合，因为这些模型几乎没有可解释性或可纠正性。为允许人类干预 AI 模型而非独立工作，从而节省人类时间和精力，我们改进概念瓶颈模型（CBM），提出了 CHAIR 方法。CHAIR（1）使人类能够纠正中间概念，这有助于改进生成的嵌入；（2）允许灵活的干预层次，以适应不同水平的人类专长，实现更好的检索。为展示 CHAIR 方法的有效性，我们证明该方法在无外部干预的情况下，在图像检索指标上优于类似模型。此外，我们还展示了人类干预如何进一步提高检索性能，从而实现人类与 AI 的互补。
引用
@article{arxiv.2407.08908,
title = {Are They the Same Picture? Adapting Concept Bottleneck Models for Human-AI Collaboration in Image Retrieval},
author = {Vaibhav Balloli and Sara Beery and Elizabeth Bondi-Kelly},
journal= {arXiv preprint arXiv:2407.08908},
year = {2024}
}
备注
Accepted at Human-Centred AI Track at IJCAI 2024