开源项目 1 days ago 122 Views 0 Comments

腾讯开源超长漫游世界模型:HunyuanWorld-Voyager!

AI-GitHub

Published 37 Articles

今天,腾讯正式发布了混元3D世界模型系列的最新成员:HunyuanWorld-Voyager(简称混元Voyager)。

作为业界首个支持原生3D重建的超长漫游世界模型,混元Voyager聚焦于AI在空间智能领域的应用扩展,将为虚拟现实、物理仿真、游戏开发等领域提供高保真的3D场景漫游能力。

功能特点

1、控制生成视频画面:用户可通过键盘或摇杆设定相机轨迹,系统生成对应视角的视频序列,同时保持空间结构一致性;

2、风格化编辑与控制:支持对生成视频进行画面风格调整与局部重绘,保持内容可控;

3、图生3D与视频深度估计:支持从图像生成结构完整的3D物体,也可对普通视频进行深度补全,用于三维理解与后续建模。

技术创新

混元Voyager创新性地将场景深度预测引入视频生成过程,融合了视频生成与3D建模的优势。基于相机可控的视频生成技术,它从初始场景视图和用户指定相机轨迹中,合成可自由控制视角、空间连贯的RGB-D视频。

同时,混元Voyager支持将生成视频无损导出为3D点云,无需依赖COLMAP等额外重建工具,大幅简化了工作流程。

性能表现

该模型在斯坦福大学李飞飞团队发布的世界模型基准测试WorldScore上位居综合能力首位,超越现有开源方法。

在视频生成和视频3D重建两个任务上,Voyager也均取得更好的结果。

和现有开源方法比较,HunyuanWorld-Voyager可重建出更加精确的3DGS场景。

HunyuanWorld-Voyager的开源,为混元世界模型的能力矩阵补上了空间连续性维度的关键一块。从静态场景的呈现,到支持用户控制的沉浸式漫游,再到融入深度信息与空间延展能力,其技术演进层层递进。

项目官网:
https://3d-models.hunyuan.tencent.com/world/

GitHub:https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager

#AI开源项目推荐##github##AI技术##腾讯开源#

AI-GitHub

AI-GitHub

37 Articles 5565 Views 0 Fans

Comment (0)

睡觉动画