AI热点 2小时前 96 浏览次数 0 评论

高通:OpenAI 最小开源模型 gpt-oss-20b 可在骁龙终端运行

AI中国
AI中国

发布了 8710 文章

IT之家 8 月 11 日消息,OpenAI 于 8 月 6 日推出了其最小开源模型 gpt-oss-20b,在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果。高通今日宣布,这是 OpenAI 首个可在搭载骁龙平台的终端侧运行的开源推理模型。

IT之家从官方新闻稿获悉,高通称 gpt-oss-20b 思维链推理模型可直接在搭载骁龙旗舰处理器的终端上运行。此前 OpenAI 的复杂模型仅限云端部署,这是 OpenAI 首次实现模型支持终端侧推理。通过提前获取模型,并结合高通 ® AI 引擎和 Qualcomm® AI Stack 进行集成测试,我们发现这款 200 亿参数的模型表现极为出色,能够完全在终端侧进行思维链推理。

高通认为这是一个关键转折点:预示着 AI 的未来方向,即丰富复杂的助手式推理也将在本地实现。这也展现了 AI 生态系统的成熟性,合作伙伴和开发者可以利用骁龙处理器,实时采用 OpenAI 等领军企业的开源创新成果。OpenAI 的 gpt-oss-20b 将助力终端设备利用终端侧推理,带来隐私保护和时延方面的优势,同时通过 AI 智能体为云端解决方案提供支持。

高通称,通过提前获取 gpt-oss-20b 模型,并结合 Qualcomm AI Stack 进行集成测试,见证了该模型的卓越能力,它能完全在终端侧进行复杂推理。开发者将可通过 Hugging Face 和 Ollama 等主流平台获取该模型,并在搭载骁龙平台的终端上发挥其性能。更多部署详情即将在 Qualcomm AI Hub 上公布。

将 Ollama 的轻量级的开源 LLM 服务框架和强大的骁龙平台集成,开发者和企业不仅可以直接在搭载骁龙计算平台的终端上运行 gpt-oss-20b 模型,还能够进行网页搜索等多个默认特性,无需额外配置。用户也可以在 Ollama 上尝试 Turbo 模式,以探索该模型的更多功能。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

AI中国

AI中国

8710 文章 1400006 浏览次数 950300 粉丝

评论 (0)

睡觉动画