纽约气味：大型多模态嗅觉数据集
计算机视觉与模式识别
2025-11-26 v1 人工智能
机器学习
摘要
尽管嗅觉是动物感知世界的关键感觉模式，但这一丰富的化学感官模式在机器中仍基本不可及。一个关键瓶颈是缺乏在自然环境中收集的多样化、多模态嗅觉训练数据。我们提出纽约气味(New York Smells)，一个包含成对图像和嗅觉信号的大型数据集，数据采集自“野外”环境。数据集包含 7000 组嗅觉-图像配对，涵盖 3500 个不同的物体，涉及室内和室外环境，物体数量约为现有嗅觉数据集的 70 倍。我们的基准包含三个任务：跨模态嗅觉到图像检索、从嗅觉alone 识别场景、物体和材料，以及对草本植物的精细分类。通过在数据集上进行实验，我们发现视觉数据可用于跨模态嗅觉表征学习，且我们学习的嗅觉表征在性能上优于广泛使用的手工特征。
引用
@article{arxiv.2511.20544,
title = {New York Smells: A Large Multimodal Dataset for Olfaction},
author = {Ege Ozguroglu and Junbang Liang and Ruoshi Liu and Mia Chiquier and Michael DeTienne and Wesley Wei Qian and Alexandra Horowitz and Andrew Owens and Carl Vondrick},
journal= {arXiv preprint arXiv:2511.20544},
year = {2025}
}
备注
Project website at https://smell.cs.columbia.edu