InterVLS：基于视觉-语言代理模型的交互式模型理解与改进
人工智能
2024-06-27 v2 计算机视觉与模式识别
人机交互
机器学习
摘要
深度学习模型广泛应用于关键场景中，凸显了部署前模型理解与改进的必要性。基于视觉概念的方法虽日益用于此目的，却面临如下挑战：(1) 多数概念缺乏可解释性，(2) 现有方法需要模型知识，而该知识在运行时往往不可用。此外，(3) 缺乏一种用于理解后模型改进的无代码方法。为应对这些挑战，我们提出 InterVLS。该系统通过发现文本对齐的概念、利用与模型无关的线性代理模型衡量其影响，来促进模型理解。InterVLS 采用视觉分析，提供基于概念的解释与性能洞察。它使用户能够调整概念影响以更新模型，从而实现无代码模型改进。我们通过用户研究评估 InterVLS，并以两个场景展示其功能。结果表明，InterVLS 能有效帮助用户识别模型中有影响的概念、获取洞察并调整概念影响以改进模型。最后我们基于研究结果进行讨论。
引用
@article{arxiv.2311.03547,
title = {InterVLS: Interactive Model Understanding and Improvement with Vision-Language Surrogates},
author = {Jinbin Huang and Wenbin He and Liang Gou and Liu Ren and Chris Bryan},
journal= {arXiv preprint arXiv:2311.03547},
year = {2024}
}
备注
The paper has gone through a major update. The newer version will be titled "InFiConD: Interactive No-code Finetuning with Concept-based Knowledge Distillation"