Clink! Chop! Thud! -- 从真实世界交互中学习物体声音
计算机视觉与模式识别
2025-10-03 v1
摘要
模型能否区分勺子敲击硬木地板与敲击地毯的声音？日常物体交互会产生参与物体特有的声音。我们引入了发声物体检测任务，以评估模型将这些声音与直接参与的物体相关联的能力。受人类感知启发，我们的多模态物体感知框架从自然界的自我中心视频中学习。为了鼓励以物体为中心的方法，我们首先开发了一个自动流程，计算参与物体的分割掩码，以在训练期间引导模型关注交互中最具信息量的区域。使用 slot attention 视觉编码器进一步强化物体先验。我们在新任务及现有的多模态动作理解任务上展示了 SOTA 性能。
引用
@article{arxiv.2510.02313,
title = {Clink! Chop! Thud! -- Learning Object Sounds from Real-World Interactions},
author = {Mengyu Yang and Yiming Chen and Haozheng Pei and Siddhant Agarwal and Arun Balajee Vasudevan and James Hays},
journal= {arXiv preprint arXiv:2510.02313},
year = {2025}
}
备注
ICCV 2025. Project page: https://clink-chop-thud.github.io/