基于多轮多模态LLM对话的情境自适应听力助理
人机交互
2025-09-09 v1
摘要
传统听力助理依赖静态配准，难以适应动态声学环境。我们提出CAFA（Context-Adaptive Fitting Advisor），通过多主体大语言模型（LLM）工作流程提供个性化、实时听力助理调整。CAFA将实时环境音频、听力听力图和用户反馈融合于多轮对话系统中。环境声被分类为对话、噪声或安静，基于YAMNet嵌入的轻量级神经网络准确率达91.2%。该系统采用模块化LLM工作流程，包括情境获取、子问题分类、策略提供和伦理监管，由LLM Judge进行监督。工作流程将情境和反馈转化为精确、安全的调校命令。评估确认，实时声音分类提升了对话效率。CAFA体现了代理化、多模态AI如何为智能、以用户为中心的辅助技术提供可能。
引用
@article{arxiv.2509.06382,
title = {Context-Adaptive Hearing Aid Fitting Advisor through Multi-turn Multimodal LLM Conversation},
author = {Yingke Ding and Zeyu Wang and Xiyuxing Zhang and Hongbin Chen and Zhenan Xu},
journal= {arXiv preprint arXiv:2509.06382},
year = {2025}
}
备注
Ubicomp Companion 2025