通过耳戴设备实现自我对话检测
声音
2025-11-12 v1 人工智能
摘要
自我对话——即可以静默进行或被言说出来的内部对话——在情绪调节、认知处理和动机方面发挥着关键作用，然而在日常生活中仍然基本不可见且无法被测量。本文提出了MutterMeter，一个能够从耳戴设备在真实场景中捕获的音频中自动检测言语化自我对话的移动系统。由于其多样化的声学形式、语义和语法的不完整性以及不规则的发生模式，自我对话的检测技术上具有挑战性，这些特征与传统语音理解模型所基于的假设 fundamentally不同。为解决这些挑战，MutterMeter采用分层分类架构，通过顺序处理管道逐步整合声学、语言和上下文信息，适应性地在准确率和计算效率之间进行权衡。我们构建并评估了MutterMeter，采用首个包含来自25名参与者的31.1小时音频数据的数据集。实验结果表明，MutterMeter以宏平均F1分数0.84的稳健性能获胜，超过了包括基于LLM的模型和语音情感识别模型在内的传统方法。
引用
@article{arxiv.2511.07493,
title = {Enabling Automatic Self-Talk Detection via Earables},
author = {Euihyeok Lee and Seonghyeon Kim and SangHun Im and Heung-Seon Oh and Seungwoo Kang},
journal= {arXiv preprint arXiv:2511.07493},
year = {2025}
}