Garlic LLM

13 年前的 PS4 跑起 90 亿参数大模型:Garlic LLM 本地推理实测每秒最高 43 词元

一台 2013 年发售的游戏主机,在 2026 年成了离线运行的 AI 助手。开源项目 Garlic LLM 让越狱版 PS4 在主机自带的 GPU 上跑起了 90 亿参数的本地大…