通过声音教授 LLM 的物理感知能力
声音
2025-06-12 v2 人工智能
多媒体
机器人学
音频与语音处理
摘要
大型语言模型(LLM)在文本和多模态处理方面展现出惊人的能力,但其本质上缺乏物理感知——对真实世界物理现象的理解。本文提出 ACORN 框架,通过声音教授 LLM 物理感知,聚焦于 Doppler 效应、多径效应和空间关系等基本物理现象。为克服数据稀缺问题,ACORN 引入基于物理的模拟器,将真实声源与受控物理信道相结合,以生成多样化的训练数据。利用该模拟器,我们构建了综合性的 Audio Question-Answer 数据集 AQA-PHY,并提出能够处理幅度和相位信息的音频编码器。通过将音频编码器连接到最先进的 LLM,我们在模拟和真实世界任务中均实现了理想结果,包括视线检测、Doppler 效应估计和到达方向估计,为让 LLM 理解物理世界铺平了道路。
关键词
引用
@article{arxiv.2506.08524,
title = {Teaching Physical Awareness to LLMs through Sounds},
author = {Weiguo Wang and Andy Nie and Wenrui Zhou and Yi Kai and Chengchen Hu},
journal= {arXiv preprint arXiv:2506.08524},
year = {2025}
}
备注
ICML 2025