BiListing：面向房源列表的模态对齐

Airbnb 是提供旅行住宿的领导者。Airbnb 历史上依赖结构化数据来理解、排序和向客人推荐房源，因为从文本和图像中提取有意义信息的能力有限且相关复杂性较高。随着表示学习的兴起，利用文本和照片中的丰富信息变得更容易。一种流行方法是为文本文档和图像创建嵌入，以实现计算房源之间的相似度或将嵌入用作机器学习模型中的特征。然而，Airbnb 房源具有多样化的非结构化数据：多张图像、多种非结构化文本文档如标题、描述和评论，使得这种方法具有挑战性。具体而言，将不同信息片段的多个嵌入组合为单一表示是一项非平凡任务。本文提出 BiListing（意为双模房源），一种通过利用大语言模型和预训练语言-图像模型来对齐房源文本和照片的方法。BiListing 方法具有若干有利特性：将非结构化数据捕获为每个房源和模态的单一嵌入向量，实现零样本能力以用户友好的语义高效搜索库存，克服冷启动问题，以及实现单模态或双模态的房源到房源搜索。我们对 BiListing 嵌入在 Airbnb 搜索排序模型中的离线与在线测试进行了评估，成功在生产环境中部署，实现了 0.425% 的 NDCB 增益，并带来了数千万美元的增量收入。