LiveCC – 字节联合新加坡国立大学开源的实时视频解说模型

LiveCC是什么

LiveCC 是新加坡国立大学Show Lab 团队联合字节跳动推出的实时视频解说模型，基于自动语音识别（ASR）字幕进行大规模训练。LiveCC像专业解说员一样快速分析视频内容，同步生成自然流畅的语音或文字解说。LiveCC 推出 Live-CC-5M 数据集用在预训练，和 Live-WhisperX-526K 数据集用在高质量的监督微调。LiveCC 设计了 LiveSports-3K 基准测试，用在评估模型的实时视频评论能力。实验表明，LiveCC 在实时视频评论和视频问答任务上表现出色，展现出低延迟和高质量的生成能力。

LiveCC的主要功能

• 实时视频评论：根据视频内容生成连续的、与人类类似的实时评论，适用于体育赛事、新闻播报、教学视频等多种场景。
• 视频问答：回答与视频内容相关的问题，帮助用户更好地理解视频中的事件和细节。
• 低延迟处理：用极低的延迟（每帧小于0.5秒）处理视频流，支持实时应用。
• 多场景适应：适用于多种视频类型，包括体育、新闻、教育、娱乐等。

LiveCC的技术原理

• 流式训练方法：将自动语音识别（ASR）的单词与视频帧按照时间戳密集交错，让模型学习到时间对齐的视觉-语言关系。模拟人类观看视频时的实时感知过程，让模型生成与视频内容紧密相关的评论。
• 大规模数据集：从YouTube视频中提取的ASR字幕构建两个数据集：Live-CC-5M（用在预训练）和Live-WhisperX-526K（用在高质量监督微调）。数据集为模型提供丰富的训练素材。
• 模型架构：基于Qwen2-VL模型架构，结合视觉编码器和语言模型，处理视频帧和文本信息。模型基于自回归的方式预测文本令牌，将视频令牌作为非预测输入。
• 实时推理：在推理阶段，LiveCC模型逐帧处理输入视频，生成实时评论。为提高效率，模型缓存之前的提示、视觉帧和生成的文本，加速语言解码。
• 评估方法：基于LiveSports-3K基准测试评估模型的实时评论能力，用LLM-as-a-judge框架比较不同模型生成的评论质量。

LiveCC的项目地址

• 项目官网：https://showlab.github.io/livecc/
• GitHub仓库：https://github.com/showlab/livecc
• HuggingFace模型库：https://huggingface.co/collections/chenjoya/livecc
• arXiv技术论文：https://arxiv.org/pdf/2504.16030
• 在线体验Demo：https://huggingface.co/spaces/chenjoya/LiveCC

LiveCC的应用场景

• 体育赛事：提供实时评论和赛事分析，增强观众体验。
• 新闻报道：辅助实时新闻解读，提升报道的深度和专业性。
• 教育领域：为教学视频生成讲解，辅助技能培训。
• 娱乐媒体：为影视内容提供实时剧情解读，增加互动性。
• 智能助手：结合视频内容提供实时信息，提升交互体验。