基于AI的口语助手：在实时多语言交流中支持非母语者的口语表达
人机交互
2025-05-06 v1
摘要
非母语者（NNSs）在实时多语言交流中经常面临口语挑战，例如难以清晰表达自己的想法。为解决这一问题，我们开发了一款基于AI的口语助手（AISA），该助手能根据非母语者的输入查询、任务背景和对话历史为其提供口语参考。为了探究非母语者与AISA的交互及其在实时多语言交流中对非母语者口语表达的影响，我们进行了一项混合方法研究，包括一个被试内实验和后续访谈。在实验中，两名母语者（NSs）和一名非母语者组成一个团队（共31个团队），并完成两项协作任务——一项可以使用AISA，另一项则不能。总体而言，我们的研究揭示了非母语者使用AISA的四种输入模式，每种模式反映了不同程度的努力和语言偏好。虽然AISA并未提高非母语者的口语能力，但后续访谈显示，它有助于改善他们发言的逻辑流畅性和深度。此外，AISA引入的额外多任务处理，如输入和查看系统输出，可能增加了非母语者的工作负荷和焦虑感。基于这些观察，我们讨论了在实时多语言交流中实施辅助非母语者工具的利弊，并提出了设计建议。
引用
@article{arxiv.2505.01678,
title = {AI-Based Speaking Assistant: Supporting Non-Native Speakers' Speaking in Real-Time Multilingual Communication},
author = {Peinuan Qin and Zicheng Zhu and Naomi Yamashita and Yitian Yang and Keita Suga and Yi-Chieh Lee},
journal= {arXiv preprint arXiv:2505.01678},
year = {2025}
}
备注
Accepted to ACM CSCW 2025