LUCY：实现早期“她”的语言理解与控制
计算与语言
2025-01-28 v1 声音
音频与语音处理
摘要
电影《Her》中的 Samantha 是一个高级 AI 语音智能体，能够理解人类语音中的语言与副语言信息，并给出自然、信息丰富且对情感细节敏感的实时回复。在端到端（E2E）语音系统近期进展的基础上，向更高级的语音智能体迈进，我们提出了 LUCY，一个 E2E 语音模型，它能够：(1) 感知并响应用户情绪，(2) 以简洁自然的风格提供回复，(3) 使用外部工具回答实时询问。实验结果表明，与同类模型相比，LUCY 在情绪控制方面表现更佳，能够根据语言情绪指令生成情绪化回复，并对副语言情绪线索做出响应。由外部语言模型评判，LUCY 还能以更自然的风格生成回复，且未在通用问答性能上做出太多牺牲。最后，LUCY 能够利用函数调用回答超出其知识范围的问题。
引用
@article{arxiv.2501.16327,
title = {LUCY: Linguistic Understanding and Control Yielding Early Stage of Her},
author = {Heting Gao and Hang Shao and Xiong Wang and Chaofan Qiu and Yunhang Shen and Siqi Cai and Yuchen Shi and Zihan Xu and Zuwei Long and Yike Zhang and Shaoqi Dong and Chaoyou Fu and Ke Li and Long Ma and Xing Sun},
journal= {arXiv preprint arXiv:2501.16327},
year = {2025}
}
备注
Demo Link: https://github.com/VITA-MLLM/LUCY