潜在空间探索者：面向多模态潜在空间探索的可视化分析

基于多模态训练数据构建的机器学习模型可以揭示单模态数据集无法获得的新见解。例如，心脏磁共振图像和心电图都被认为能够捕捉受试者心血管健康状况的有用信息。从大型数据集训练的多模态机器学习模型有可能预测心脏相关疾病的发作，并提供关于心血管系统的新医学见解。尽管有潜在的好处，但医学专家在没有视觉辅助的情况下难以探索多模态表示模型，也难以测试模型在各种亚群上的预测性能。为了应对这些挑战，我们开发了一个名为Latent Space Explorer的可视化分析系统。Latent Space Explorer提供交互式可视化，使用户能够探索受试者的多模态表示、定义感兴趣的亚组、与所选受试者交互式解码不同模态的数据，并检查嵌入在下游预测任务中的准确性。我们与医学专家进行了一项用户研究，他们的反馈提供了有用的见解，说明Latent Space Explorer如何帮助他们的分析，以及医学领域进一步发展的可能新方向。