ImageSI：深度学习图像投影的语义交互
人机交互
2024-08-08 v1
摘要
维度缩减（DR）中的语义交互（SI）允许用户通过直接操作图像的二维位置来Incorporate反馈。通过交互，用户指定一组两两关系，DR应旨在捕获。现有方法通过对抽象嵌入特征的权重来Incorporate反馈，但如果原始嵌入特征未能适当捕获用户任务，则DR亦无法实现。我们提出ImageSI，一种针对图像DR的SI方法，通过直接Incorporate用户反馈来更新底层嵌入，而非对其加权。如此，ImageSI确保嵌入适当捕获任务所需的特征，从而使DR能够利用这些特征组织图像。我们提出了两种ImageSI变体，使用不同损失函数——ImageSI_MDS_Inverse侧重于交互显式的两两关系，ImageSI_Triplet侧重于聚类，使用交互定义图像组。最后，我们给出使用场景和基于仿真的评估，展示ImageSI的实用性并与当前方法进行比较。
引用
@article{arxiv.2408.03845,
title = {ImageSI: Semantic Interaction for Deep Learning Image Projections},
author = {Jiayue Lin and Rebecca Faust and Chris North},
journal= {arXiv preprint arXiv:2408.03845},
year = {2024}
}