利用移动数据与深度模型评估听觉言语幻觉
声音
2023-04-24 v1 人机交互
机器学习
音频与语音处理
摘要
幻觉是在缺乏真实外部感觉刺激情况下的明显感知。听觉幻觉是对并不真实存在的声音的听觉感知。听觉幻觉的一种常见形式是在没有任何说话者的情况下听到声音，即听觉言语幻觉（AVH）。AVH是心智创造的片段，多发生于被诊断为双相情感障碍和精神分裂症等精神疾病的人群中。评估幻觉声音的情感效价（即声音负面或正面的程度）有助于衡量精神疾病的严重程度。我们研究了N=435名经历幻听个体的AVH评估。参与者通过生态瞬时评估，在一个月内每天四次报告其所听到声音的情感效价，问题设有从“完全没有”到“极度”四种回答量表。我们通过移动应用程序将这些自我报告作为AVH事件的效价监督信号进行收集。使用该应用程序，参与者还录制音频日记以口头描述幻觉声音的内容。此外，我们被动收集移动感知数据作为上下文信号。随后，我们实验探究了来自音频日记和移动感知数据的这些语言与上下文线索对听觉言语幻觉事件的预测能力。最后，利用迁移学习和数据融合技术，我们训练了一个神经网络模型，以54%的top-1和72%的top-2 F1分数预测AVH的效价。
引用
@article{arxiv.2304.11049,
title = {Using Mobile Data and Deep Models to Assess Auditory Verbal Hallucinations},
author = {Shayan Mirjafari and Subigya Nepal and Weichen Wang and Andrew T. Campbell},
journal= {arXiv preprint arXiv:2304.11049},
year = {2023}
}