LLAMAPIE：主动式入耳对话助手
机器学习
2025-07-30 v2 计算与语言
人机交互
声音
音频与语音处理
摘要
我们介绍了 LlamaPIE，这是首个实时主动式助手，旨在通过可听设备提供谨慎、简洁的指导来增强人类对话。与需要用户显式调用的传统语言模型不同，该助手在后台运行，预测用户需求而不中断对话。我们解决了若干挑战，包括确定何时回应、生成能增强对话的简洁回应、利用用户知识进行上下文感知辅助，以及实时、设备端处理。为此，我们构建了一个半合成对话数据集，并提出了一个双模型流水线：一个小模型决定何时回应，一个更大的模型生成回应。我们在真实世界数据集上评估了我们的方法，证明了其在提供有用、不引人注目的辅助方面的有效性。使用我们在 Apple Silicon M2 硬件上实现的助手进行的用户研究表明，用户对主动式助手的偏好远高于无辅助的基线模型和被动式模型，凸显了 LlamaPIE 增强实时对话的潜力。
引用
@article{arxiv.2505.04066,
title = {LLAMAPIE: Proactive In-Ear Conversation Assistants},
author = {Tuochao Chen and Nicholas Batchelder and Alisa Liu and Noah Smith and Shyamnath Gollakota},
journal= {arXiv preprint arXiv:2505.04066},
year = {2025}
}
备注
Published by ACL2025 (Findings)