通过对比学习揭示多图片描述在多语言轻度认知功能障碍检测中的作用
计算与语言
2025-09-04 v5 人工智能
机器学习
摘要
从图片描述中检测轻度认知功能障碍（MCI）至关重要且具有挑战性，尤其是在多语言和多图片环境中。以往工作主要聚焦于英语说话者描述单张图片（例如“饼干盗窃”）。TAUKDIAL-2024 挑战通过引入多语言说话者和多图片，拓展了这一范围，这为分析图片相关内容带来了新挑战。为解决这些挑战，我们提出了包含三个组件的框架：（1）通过监督对比学习增强判别性表征学习；（2）纳入图像模态而不仅仅依赖语音和文本模态；（3）应用专家产品（PoE）策略以缓解虚假相关性和过拟合。我们的框架改善了 MCI 检测性能，在未加权平均召回率（UAR）上提升了 7.1%（从 68.1% 提升至 75.2%），F1 分数提升了 2.9%（从 80.6% 提升至 83.5%），显于文本单模态基线。值得注意的是，对比学习组件在文本模态上的提升尤为显著。这些结果凸显了 our 框架在多语言和多图片 MCI 检测中的有效性。
关键词
引用
@article{arxiv.2505.17067,
title = {Unveil Multi-Picture Descriptions for Multilingual Mild Cognitive Impairment Detection via Contrastive Learning},
author = {Kristin Qi and Jiali Cheng and Youxiang Zhu and Hadi Amiri and Xiaohui Liang},
journal= {arXiv preprint arXiv:2505.17067},
year = {2025}
}
备注
IEEE Global Communications Conference (GlobeCom) 2025