利用散斑振动测量法学习透视不透明液体容器内部

计算机视觉旨在推断关于物体和事件的广泛信息。然而，基于传统成像的视觉系统仅限于从场景物体的可见表面提取信息。例如，视觉系统可以检测并识别场景中的可乐罐，但无法确定罐子是满的还是空的。在本文中，我们旨在将计算机视觉的范围扩展到包括一项新任务：通过感知不透明容器表面的微小振动来推断其隐藏的液位。我们的方法提供了一种首创的方式，可以远程、同时检查多个密封容器的填充水平，无需物理操作和手动称重。首先，我们提出了一种新颖的基于散斑的振动传感系统，用于同时捕捉二维点阵上的场景振动。我们使用该系统高效地远程捕获了各种日常液体容器的振动响应数据集。然后，我们开发了一种基于Transformer的方法，用于分析捕获的振动，并在测量时对容器类型及其隐藏液位进行分类。我们的架构对振动源具有不变性，能够针对受控和周围环境声源给出正确的液位估计。此外，我们的模型能够泛化到已知类别中未见过的容器实例（例如，在六罐装中的五个可乐罐上训练，在第六个上测试）和流体水平。我们通过从各种日常容器中恢复液位来演示我们的方法。