移动机器人的听觉系统

在本论文中，我们提出了一种人工听觉系统，使机器人能够定位和跟踪声音，以及分离同时发生的声源并识别同时发生的语音。我们证明使用麦克风阵列实现这些能力是可能的，而无需试图模仿人类听觉系统。声源定位与跟踪算法使用可控波束成形器定位声源，然后使用多声源粒子滤波器进行跟踪。同时声源的分离通过使用几何声源分离（GSS）算法的一种变体实现，并结合多声源后滤波器进一步降低噪声、干扰和混响。语音识别在分离出的声源上执行，可直接进行，或利用缺失特征理论（MFT）来估计语音特征的可靠性。所得结果表明，即使在嘈杂和混响环境中，也可以跟踪多达四个同时声源。还演示了机器人跟随声源的实时控制。我们提出的声源分离方法在存在三个说话人时，相比单个麦克风能够实现 13.7 dB 的信噪比提升。在这些条件下，该系统在数字识别上展示了超过 80% 的准确率，高于我们小型案例研究中大多数人类听者在仅识别这些声源之一时所能获得的准确率。所有这些新能力将允许人类在真实生活环境中与移动机器人更自然地进行交互。