基于面部图像和皮肤电导生理信号的人类-人工智能交互早期信任预测的多模态机器学习
机器学习
2025-12-05 v2
摘要
预测人类对人工智能系统的信任对于安全集成基于AI的决策支持工具尤其重要，尤其是在医疗保健领域。本研究提出一种多模态机器学习框架，结合图像和皮肤电导(GSR)数据，用于预测AI或人工生成推荐在模拟ADHD移动健康情境中的早期用户信任。面部视频数据经OpenCV处理提取帧，并通过预训练变换模型进行迁移学习以提取情感特征。同时，对GSR信号进行分解为tonic和phasic分量以捕捉生理唤醒模式。分别定义了两个时间窗口用于信任预测：早期检测窗口(决策前6至3秒)和近程检测窗口(决策前3至0秒)。对于每个窗口，分别使用基于图像的特征、GSR-based特征和多模态(image+GSR)特征进行信任预测。对每种模态使用机器学习算法进行分析，并通过多模态堆叠集成集成表现最佳的单模态模型进行最终预测。实验结果表明，结合面部和生理特征显著提高了预测性能。在早期检测窗口中，多模态堆叠框架实现了0.83的准确率、0.88的F1分数和0.87的ROC-AUC；在近程检测窗口中，准确率为0.75、F1分数为0.82、ROC-AUC为0.66。这些结果表明，生物信号作为实时、客观的信任标记具有潜力，使能够动态调整其响应以维持校准信任的自适应AI系统成为可能，这在诊断和治疗结果可能受到误校准信任影响的精神健康应用中具有关键意义。
引用
@article{arxiv.2511.21908,
title = {Multi-Modal Machine Learning for Early Trust Prediction in Human-AI Interaction Using Face Image and GSR Bio Signals},
author = {Hamid Shamszare and Avishek Choudhury},
journal= {arXiv preprint arXiv:2511.21908},
year = {2025}
}
备注
This version contains errors in content presentation and arrangement, so it is being withdrawn until a corrected version is generated