是的，这正是我想要的！迈向多模态医疗咨询关切摘要生成
人工智能
2024-01-11 v1 计算与语言
摘要
过去几年间，互联网在医疗保健相关任务中的应用迅猛增长，这对有效管理和处理信息以确保其高效利用提出了挑战。在情绪动荡和心理困扰的时刻，我们常常首先转向互联网寻求支持，而非与他人讨论感受，因为后者伴随着社会污名。本文中，我们提出了一项新任务——多模态医疗关切摘要（MMCS）生成，该任务旨在对患者在咨询过程中提出的主要关切提供简短而精确的摘要。非语言线索，如患者的手势和面部表情，有助于准确识别患者的关切。医生也会考虑患者的个人信息，如年龄和性别，以便恰当地描述医疗状况。受患者个人语境和视觉手势潜在效用的启发，我们提出了一种基于 Transformer 的多任务、多模态意图识别与医疗关切摘要生成（IR-MMCSG）系统。此外，我们为医患咨询提出了一个意图识别与医疗关切摘要生成的多任务框架。我们构建了首个多模态医疗关切摘要生成（MM-MediConSummation）语料库，其中包含标注了医疗关切摘要、意图、患者个人信息、医生建议和关键词的医患咨询记录。我们的实验和分析证明了：(a) 患者的表情/手势及其个人信息在意图识别和医疗关切摘要生成中的重要作用，以及 (b) 意图识别与患者医疗关切摘要生成之间的强相关性。数据集和源代码可在 https://github.com/NLP-RL/MMCSG 获取。
引用
@article{arxiv.2401.05134,
title = {Yes, this is what I was looking for! Towards Multi-modal Medical Consultation Concern Summary Generation},
author = {Abhisek Tiwari and Shreyangshu Bera and Sriparna Saha and Pushpak Bhattacharyya and Samrat Ghosh},
journal= {arXiv preprint arXiv:2401.05134},
year = {2024}
}