基于可排序嵌入的细粒度可控长度视频字幕
光学
2024-10-08 v2 化学物理
摘要
本文提出一种用于视频字幕的方法，可控制生成字幕的长度。先前关于长度控制的工作通常只有少量的层级来表达长度。本研究提出两种长度嵌入方法以实现细粒度长度控制。一种是传统的嵌入方法，使用 one-hot 向量和嵌入矩阵。本研究提出了两种方法将长度在 multi-hot 向量中表示：一种是位嵌入，用位表示长度，另一种是有序嵌入，使用常用于有序回归的二进制表示。这类 multi-hot 向量的长度表示通过非线性 MLP 转换为长度嵌入。该方法不仅可以控制字幕句子的长度，也可以控制阅读字幕的时间。使用 ActivityNet Captions 和 Spoken Moments in Time 进行实验表明，所提出的方法有效地控制了生成字幕的长度。通过 ICA 分析嵌入向量，显示长度和语义被分别学习，从而证明了所提出嵌入方法的有效性。
关键词
引用
@article{arxiv.2408.15446,
title = {Evaluation of Microscopic Origins in Nonlinear Optical Crystals: Based on Rigorous Atomic Space Tessellating},
author = {Yang Chi},
journal= {arXiv preprint arXiv:2408.15446},
year = {2024}
}