用于提示级 EMA 无应答预测的 Transformer 模型
计算与语言
2022-01-02 v1 机器学习
摘要
生态瞬时评估（EMA）是移动健康（mHealth）研究与治疗项目中测量参与者当前认知状态、情感、行为及环境因素的重要心理学数据来源。参与者未能响应 EMA 提示的无应答是一个普遍存在的问题。准确预测无应答的能力可用于改进 EMA 投递并开发依从性干预措施。先前工作已探索了用于预测无应答的经典机器学习模型。然而，随着日益庞大的 EMA 数据集变得可用，有可能利用在其他领域有效的深度学习模型。近来，Transformer 模型已在 NLP 及其他领域展现出最先进的性能。本工作是首个探索将 Transformer 用于 EMA 数据分析的研究。我们解决将 Transformer 应用于 EMA 数据的三个关键问题：1. 输入表示，2. 时间信息编码，3. 预训练对提升下游预测任务性能的效用。该 Transformer 模型取得了 0.77 的无应答预测 AUC，显著优于经典 ML 与基于 LSTM 的深度学习模型。我们将把在 4 万 EMA 样本语料上训练的预测模型免费提供给研究界，以促进未来基于 Transformer 的 EMA 分析工作的发展。
引用
@article{arxiv.2111.01193,
title = {Transformers for prompt-level EMA non-response prediction},
author = {Supriya Nagesh and Alexander Moreno and Stephanie M. Carpenter and Jamie Yap and Soujanya Chatterjee and Steven Lloyd Lizotte and Neng Wan and Santosh Kumar and Cho Lam and David W. Wetter and Inbal Nahum-Shani and James M. Rehg},
journal= {arXiv preprint arXiv:2111.01193},
year = {2022}
}