虚拟人类生成模型：用于学习人类特征的掩码建模方法
机器学习
2025-11-19 v5 人工智能
机器学习
摘要
虚拟人类生成模型(VHGM)是一种对超过 2000 个人类医疗相关属性的联合概率进行近似的生成模型。本文提出核心算法 VHGM-MAE，一种专为处理高维稀疏医疗数据而定制的掩码自编码器(MAE)。VHGM-MAE 应对四个关键技术挑战：(1) 医疗数据类型的异质性，(2) 概率分布建模，(3) 由多数据源导致的训练集中的系统性缺失，(4) 高维、小--大- 问题。为应对这些挑战，VHGM-MAE 采用基于似然的方法对异质类型分布建模，基于 transformer 的 MAE 以捕捉观测与缺失属性间的复杂依赖，以及一种新颖训练方案，有效利用具有多样缺失模式的可用样本以缓解小-n-大-p 问题。实验结果表明，VHGM-MAE 在缺失值插补与合成数据生成上均优于现有方法。
引用
@article{arxiv.2306.10656,
title = {Virtual Human Generative Model: Masked Modeling Approach for Learning Human Characteristics},
author = {Kenta Oono and Nontawat Charoenphakdee and Kotatsu Bito and Zhengyan Gao and Hideyoshi Igata and Masashi Yoshikawa and Yoshiaki Ota and Hiroki Okui and Kei Akita and Shoichiro Yamaguchi and Yohei Sugawara and Shin-ichi Maeda and Kunihiko Miyoshi and Yuki Saito and Koki Tsuda and Hiroshi Maruyama and Kohei Hayashi},
journal= {arXiv preprint arXiv:2306.10656},
year = {2025}
}