AI热点 2月前 227 阅读 0 评论

昆仑万维宣布开源 Matrix-Game 大模型:工业界首个开源的 10B+ 空间智能大模型,支持《我的世界》

作者头像

AI技术专栏作家 | 发布了 246 篇文章

昆仑万维宣布开源 Matrix-Game 大模型:工业界首个开源的 10B+ 空间智能大模型,支持《我的世界》
昆仑万维宣布开源 Matrix-Game 大模型:工业界首个开源的 10B+ 空间智能大模型,支持《我的世界》

IT之家 5 月 13 日消息,昆仑万维刚刚宣布 Matrix-Game 大模型(17B+)正式开源,即 Matrix-Zero 世界模型中的可交互视频生成大模型。

昆仑万维表示,Matrix-Game 是 Matrix 系列在交互式世界生成方向的正式落地,也是工业界首个开源的 10B+ 空间智能大模型,它是一个面向游戏世界建模的交互式世界基础模型,专为开放式环境中的高质量生成与精确控制而设计。

据介绍,Matrix-Game 包括三大核心:

  • Matrix-Game-MC 数据集:自主构建的大规模交互世界数据集,包含两类数据:一是大规模无标签的 Minecraft 游戏视频,二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据,具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。

  • Matrix-Game 主模型:基于先进扩散模型技术开发的图像到世界生成框架,能够根据用户输入(键盘指令、鼠标移动等)生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。

  • GameWorld Score 评测体系:提出统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。

Matrix-Game 能够在不同 Minecraft 场景下(如森林、沙滩、沙漠、冰川、河流、平原等)实现可控生成,包括基础运动、复合运动、视角运动等。例如,在一个沙漠场景中,Matrix-Game 能够根据用户输入的任意控制指令(IT之家注:如键盘的 W / A / S / D 方向键、Space 键用于跳跃、Attack 键用于攻击,以及鼠标用于视角移动),生成对应的游戏世界视频,支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。

在此基础上,Matrix-Game 支持自回归式的长视频生成,不仅能实现动作与视角之间的丝滑衔接,还在时间一致性与环境适应性方面表现出色,为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。

参考资料

  • 项目主页:https://matrix-game-homepage.github.io

  • 技术报告:https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf

  • GitHub 开源地址:https://github.com/SkyworkAI/Matrix-Game

  • HuggingFace 开源地址:https://huggingface.co/Skywork/Matrix-Game

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!