今天 ，OpenAI 开源了俩模型：120B/20B
117B 的 gpt-oss-120b 对标 o4-min，按官方说法至少需要 80G 内存，推荐使用单卡 H100 GPU
而刚买的的游戏本，刚好满足gpt-oss-120b 的部署条件
Rog 幻X，集显比肩 4060，还有 128G 统一内存
这里面是 AMD 的 395+ & 8060s（非常 YES），128G 统一内存
（说上面这些，就是来炫耀下我的本子）
（略略略～）
在测试后，发现部署 oss 并不需要 80G 显存，64G 就够了
我的实际运行信息
以下是详细的部署
以及：并不需要 80G 显存，64G 就够了
部署工作
OpenAI 为 gpt-oss 系列模型，提供了完善的私有化部署支持，使用原生MXFP4量化，极大的降低了显存的使用
在工具层面，支持多种主流部署方法，包括： Transformers、vLLM、PyTorch / Triton、Ollama、LM Studio
这里，我用的是 LM Studio，可以在官网进行下载安装
https://lmstudio.ai/
进入 LM Studio 之后，可以直接搜索 gpt-oss-120b 并下载
模型较大，有几十个G，下载要一点时间
下载这个模型，花了我差不多俩小时
模型配置
模型下完后，还无法立即运行
虽说是统一内存，但默认分给显卡的，只有4G（剩下的全部算显存了）
在硬件信息里，可以看到只有4G显存
明显不满足条件，需要手工修改一下内存分配
这里我把 64G 内存分配给了显存
（并不需要宣称的 80G）
打开 AMD Software，可手动调节
完成后，点击 LM Studio 中的「载入模型」
载入模型，需要差不多半分钟时间
模型顺利载入，显示部署成功
推理效果
OpenAI 这模型，可选多种推理强度，包括“低”、“中”、“高”
点击 Resoning Effort，选择推理强度
询问单词「strawberry」包含几个字母「r」：
低强度模式：约需10秒
高强度模式：耗时约1分钟
这个模型还支持更多的工具调用，比如可以自行配置 MCP
额外注意
在部署中，也有两个细节问题，分享如下：
Runtime 选择
LM Studio 提供了多种 Runtime 选项，包括 CUDA、Vulkan、ROCm llama.cpp、CPU llama.cpp 等
主流 Runtime Extention 都有，右侧我选了 Vulkan
我使用的是 AMD 平台，显然无法使用 NVIDIA 的 CUDA 加速
不适配的，会显示 Not Compatible
理论上，ROCm 更适合 AMD，但目前尚未支持 OpenAI 最新的 gpt-oss 系列模型
ROCm 刚刚更新了 GLM4.1
最终，我选择了 Vulkan 作为 runtime。这是一个跨平台的通用加速方案，且在最新版本的 LM Studio 中已经对 OpenAI 的 oss 做了适配
Vulkan 支持了 gpt-oss
而 CPU llama.cpp 显然不是首选，毕竟这是 CPU 的
这东西也支持了 gpt-oss，但会卡死
显存过高导致的问题
最开始的时候，我把显存分配拉高到 96GB，但这导致模型载入失败
内存不够，也会载入失败
仔细排查了下，发现模型载入过程本身还需要约 40G 的内存
一共 128G 内存
所以，这里推荐将显存分配设为 64GB，能保证完美运行
总结
其一、OpenAI 的量化，是贴心的
其二、AMD，Yes！
文章出自微信公众号“赛博禅心”，作者：“金色传说大聪明”
