13 年前的 PS4 跑起 90 亿参数大模型:Garlic LLM 本地推理实测每秒最高 43 词元

越狱教程 2026-11-17 27 0

一台 2013 年发售的游戏主机,在 2026 年成了离线运行的 AI 助手。开源项目 Garlic LLM 让越狱版 PS4 在主机自带的 GPU 上跑起了 90 亿参数的本地大语言模型:普通文本每秒输出 31 至 39 个词元,生成代码时最高达到每秒 43 个词元,全程不联网、不借助电脑,也不需要安装 Linux。开发者已在项目页公开代码、技术文档与安装包,模型文件可在 Hugging Face 免费下载。

十三年前的硬件,塞进 90 亿参数模型

拍的是初代 PS4 主机与手柄实物(站立角度) + 对应正文「十三年前的硬件,塞进 90 亿参数模型」

PS4 是索尼在 2013 年推出的家用游戏主机,核心是一颗 AMD 定制 APU:8 核 Jaguar 架构 CPU 与 GCN 架构 GPU 共享 8GB GDDR5 统一内存。当年这套配置面向的是 1080p 游戏画面渲染,而不是 AI 推理。开发者 Leonardo Alegria 发布的 Garlic LLM 项目以 GPL-3.0 许可证开源,改写了这台主机的用途:把阿里巴巴约 90 亿参数的开源模型 Qwen3.5-9B 完整搬进主机内存,推理、语音识别、语音合成全部在本机完成。据开发者所述,这是首个在 PS4 的 GPU 上运行大型语言模型的公开项目。

越狱前提只需一句话带过:主机需预先具备 GoldHEN 自制软件环境,模型通过主机的软件包安装器安装。项目方明确声明,应用本身不包含任何破解或漏洞利用程序,越狱相关操作不在本文展开。

顺带一提,项目取名 Garlic 也与 PS4 的内存架构有关——这台主机的 APU 内部有 Onion 与 Garlic 两组内存访问总线,GPU 走的正是 Garlic 通路,开发者据此外推了这个名字。

8GB 统一内存怎么装下 90 亿参数

拍的是 PS4 主板 SoC 与 GDDR5 显存芯片特写 + 对应正文「8GB 统一内存怎么装下 90 亿参数」

PS4 的 8GB GDDR5 由 CPU 与 GPU 共享,系统自身还要占掉一部分,留给应用的余量本就不多。若全部按 4-bit 量化,90 亿参数约需 4.9 GiB,加上运行开销已接近极限。Garlic LLM 的做法更精细:模型主体权重用 4-bit 存储,每一层中规模最大的 MLP 门控投影与上投影两个矩阵再压到 3-bit,算上缩放因子平均约 3.5 bit,主权重合计约 4.32 GiB;Qwen3.5 自带的多 token 预测(MTP)模块另占约 0.20 GiB,模型文件合计约 4.5 GiB。负责记忆对话历史的 KV 缓存同样量化到 4-bit,代价是上下文窗口收窄到约 16,000 词元。

语音链路同样要精打细算:语音识别用 NVIDIA 的 Parakeet TDT 0.6B v3(约 0.33 GiB),语音合成用 Chatterbox 的两个模型(约 0.29 GiB 与 0.09 GiB),全部组件加起来约 5.23 GiB,正好卡在可用内存之内。

绕过图形驱动,给 GPU 手写计算内核

拍的是 Garlic LLM 在 PS4 上的本地推理管线示意图(自绘) + 对应正文「绕过图形驱动,给 GPU 手写计算内核」

PS4 没有为自制软件提供通用 GPU 计算接口,也没有现成的机器学习库,PC 上常见的 llama.cpp 或 Vulkan 方案都无法直接移植。开发者用 OpenCL C 编写了针对 GCN 架构的矩阵运算、注意力与归一化计算内核,经 LLVM 编译成 GPU 指令;每生成一个词元,程序自行组装 PM4 命令缓冲直接提交 GPU,完全绕开面向游戏的图形驱动。CPU 侧则用纯 C 实现分词、界面、文本渲染和音频。这套管线把一台为画面渲染设计的 GPU 变成了推理引擎。

每秒 43 词元,是什么水平

拍的是 Garlic LLM 运行于 PS4 的文字聊天实机界面 + 对应正文「能聊、能听、能说,还能跑 Python」

按开发者公布的数据,在初代 PS4 与 PS4 Slim(固件 11.52)上,普通文本生成约每秒 31 至 39 个词元,生成代码时最高每秒 43 个词元;启用语音对话后,因语音模型占用内存、挤掉了推测解码所需的资源,速度降到约每秒 22 个词元。提速的关键之一是 MTP 推测解码:模型一次最多预采样 2 个候选词元,再由完整模型一次前向计算验证,命中即可一次产出多个词元——这与阿里官方在 vLLM 中建议的 2 个推测词元设置一致。

横向对比作个参照:在没有独立显卡的普通设备上跑这个量级的模型,输出速度往往明显低于这一水平;而配备现代独立显卡的 PC 跑同款模型,则可以轻松超出它不少。需要提醒的是,上述数字均来自开发者自测,测试提示词与测量方法未作说明,尚未经第三方独立验证,先当作参考口径看待更稳妥。

能聊、能听、能说,还能跑 Python

文字聊天之外,按住手柄按键即可语音听写,Parakeet 识别模型支持 25 种欧洲语言;语音对话模式下,模型能用 Chatterbox 以 7 种语言直接开口回答,覆盖西班牙语、英语、葡萄牙语、俄语、意大利语、法语与德语。Python 模式让模型生成 MicroPython 程序并在主机上直接执行;思考模式则让模型先推理再作答,每次推理约需半分钟,默认处于关闭状态。

上手之前,先看清这几个门槛

  • 必须先具备 GoldHEN 自制软件环境的越狱主机,应用本体不含任何破解或漏洞利用程序;
  • 目前仅在初代 PS4 与 PS4 Slim、固件 11.52 上完成测试,PS4 Pro 与其他固件版本尚未验证;
  • 上下文窗口约 16K 词元,长对话会较快触及上限;
  • 代码与文档在 GitHub 以 GPL-3.0 开源,感兴趣可访问 Garlic LLM 官网 与 GitHub 项目仓库。

网友怎么看

  • 有网友调侃,家里吃灰多年的初代 PS4 终于有了第二职业——离线问答机,停电断网照样能聊;
  • 也有玩家更看重离线属性:不联网、不上云,隐私敏感的问答场景刚好合适,就是 16K 上下文偏短;
  • 硬件党算了笔账:8GB 共享内存塞下 9B 模型还留出语音链路,4.5 GiB 的量化方案确实把内存抠到了极限;
  • 持保留态度的网友提醒,43 词元/秒是开发者自测口径,等第三方复现数据出来再兴奋也不迟。

写在最后

Garlic LLM 的价值不在性能碾压,而在证明路径可行:给十多年前的硬件手写 GPU 计算内核,把量化精度压到平均 3.5 bit,老旧主机同样能承担现代本地 AI 推理。PS4 不会因此变成生产力设备,但这条以底层优化唤醒旧硬件的思路,比 43 词元/秒这个数字本身更耐人寻味。

相关文章

iOS 27 免越狱装 Sileo 新路线:Procursus Jailed 更名 Switzach,SideStore 侧载全程实操
Dopamine 3.0.13 更新实操:修 Zebra 包管理器故障,三条升级路线
iOS 18.7.12 推送:A12 机型升前必看,Dopamine 只认到 18.7.1
SideStore 登录一直报 503?升级 0.7.0-alpha 一次搞定
iOS 27.1 停止签名确认:降级窗口关闭,越狱用户如何保住手上的旧系统
Calif 定档一周内放出 iOS 27 内核 exploit 代码,Dopamine 将先落地 A12/A13 机型