智能家电：与你的冰箱聊天
人机交互
2019-12-23 v1 人工智能
摘要
当前的家电能够执行有限数量的语音命令，例如开关设备、调节音乐音量或灯光条件。机器推理的最新进展为开发新型家电对话式用户界面提供了机会。在本文中，我们应用最先进的视觉推理模型，并证明向智能冰箱询问其内部物品及食物的各种属性、获得接近自然的对话体验是可行的。我们的视觉推理模型通过分析智能冰箱内图像传感器拍摄的照片，回答关于每个产品的存在性、数量、类别和新鲜度的问题。用户可在离家时（例如超市购物时）使用现成的手机 messenger 与冰箱聊天。我们生成了一个视觉逼真的合成数据集来训练机器学习推理模型，该模型在测试数据上达到 95% 的回答准确率。我们呈现了初始用户测试的结果，并讨论了如何基于人机闭环指导修改所生成问题的分布以用于模型训练。我们开源了整个系统的代码，包括数据集生成、推理模型和演示脚本。
引用
@article{arxiv.1912.09589,
title = {Smart Home Appliances: Chat with Your Fridge},
author = {Denis Gudovskiy and Gyuri Han and Takuya Yamaguchi and Sotaro Tsukizawa},
journal= {arXiv preprint arXiv:1912.09589},
year = {2019}
}
备注
NeurIPS 2019 demo track