利用扩散模型教会人类辨别细微差别
计算机视觉与模式识别
2025-05-16 v2
摘要
科学专业知识往往需要识别难以为人类甚至专家所描述的细微视觉差异。我们提出了一种系统，利用生成模型自动发现并可视化类别之间的最小判别特征，同时保留实例身份。我们的 метод生成带有细微、有针对性的类别间转换的反事实可视化，在数据稀疏、样本未配对且类别边界难以用语言描述的领域中表现良好。跨六个领域的实验，包括黑洞模拟、蝴蝶分类学和医学影像，均展示了在有限训练数据下的准确转换，既揭示了已建立的判别特征，也发现了可显著提升类别区分度的新型细微差别。用户研究确认，我们生成的反事实可视化在教会人类正确辨别细粒度类别方面显著优于传统方法，展示了生成模型在视觉学习和科学研究中的潜力。
引用
@article{arxiv.2504.08046,
title = {Teaching Humans Subtle Differences with DIFFusion},
author = {Mia Chiquier and Orr Avrech and Yossi Gandelsman and Berthy Feng and Katherine Bouman and Carl Vondrick},
journal= {arXiv preprint arXiv:2504.08046},
year = {2025}
}