HealthPrism: 基于多模态数据探索儿童身心健康状况的可视分析系统
人机交互
2024-04-11 v2
摘要
儿童个人与家庭特征(如人口统计学与 socioeconomic status)与其身心健康状况之间的关联已在公共卫生、医学与数据科学等多个研究领域被广泛探讨。此类研究可揭示影响儿童健康的潜在因素,并有助于制定针对性干预以改善其健康结局。然而,随着上下文数据(即儿童背景信息)与运动数据(即测量儿童活动的传感器数据)等多数据源的可用,数据的大规模、异构与多模态特性带来了新挑战。现有基于统计假设与学习模型的方法因所揭示信息有限,不足以全面分析多模态特征与多维健康结局间的复杂关联。本工作中,我们通过文献综述并与来自公共卫生、医学等多领域的 11 位专家迭代访谈,首先从多个层面提炼出一组设计需求。随后,我们提出HealthPrism,一个交互式可视与分析系统,用于辅助研究者从多层次视角探索各类上下文与运动特征对儿童健康状况的重要性和影响。在HealthPrism中,我们提出带门控机制的多模态学习模型用于健康画像与跨模态特征重要性比较,并设计一组可视化组件供专家自由探索与理解多模态数据。我们通过模型性能的定量评估、案例研究及相关领域专家访谈证明了HealthPrism的有效性与可用性。
引用
@article{arxiv.2307.12242,
title = {HealthPrism: A Visual Analytics System for Exploring Children's Physical and Mental Health Profiles with Multimodal Data},
author = {Zhihan Jiang and Handi Chen and Rui Zhou and Jing Deng and Xinchen Zhang and Running Zhao and Cong Xie and Yifang Wang and Edith C. H. Ngai},
journal= {arXiv preprint arXiv:2307.12242},
year = {2024}
}
备注
fixed some typos, 11 pages, 6 figures, Accepted by IEEE VIS23