面向发展中国家从多模态到单模态网页的转化
人机交互
2017-11-09 v1 机器学习
摘要
文本与图像等多模态网页元素在互联网上存储与传输时存在固有的内存开销。由于发展中国家网络连接有限，在存在图像（相对于文本）等高内存需求元素时，网页渲染会出现延迟。为克服这一限制，我们提出一种基于典型相关分析（Canonical Correlation Analysis, CCA）的计算方法，以等效的低开销模态替换高开销模态。我们的模型为低开销与高开销模态学习一个公共子空间，以最大化其视觉特征间的相关性。所获得的公共子空间用于确定给定高开销（图像）元素对应的低开销（文本）元素以进行替换。我们通过在实际网页上进行的眼动实验分析了所提方法的成本节约性能。我们的方法通过以文本替换图像，将内存开销降低了至少 83.35%。
引用
@article{arxiv.1711.02068,
title = {From Multimodal to Unimodal Webpages for Developing Countries},
author = {Vidyapu Sandeep and V Vijaya Saradhi and Samit Bhattacharya},
journal= {arXiv preprint arXiv:1711.02068},
year = {2017}
}
备注
Presented at NIPS 2017 Workshop on Machine Learning for the Developing World