1
Strata：125B 大模型装进游戏 PC
开源引擎 Strata 一键在 Windows/Linux 游戏电脑上跑 Qwen3.8-Flash-Next（125B MoE），12GB 显卡起步，本地提供 OpenAI/Anthropic 兼容接口。
本地大模型的门槛从「买服务器」降到「有台好游戏机」；速度是真的，精度得自己测。
事实
- 做法：模型由 24,576 个小专家组成，每个词只用 10 个；常用专家放显存，全部专家放内存，CPU 同时算其余部分；再用小模型先猜、大模型批量核对，快 1.6–1.8 倍。
- 门槛：RTX 20–50 系或部分 AMD 卡、12GB 显存、32GB 内存（64GB 能跑所有尺寸）、约 80GB 硬盘；README 称 RTX 5070 上 Q2_0 生成 94 tok/s。
- 接入：本机 8080 端口提供 OpenAI、Anthropic、Responses 三种接口，Claude Code、Codex 改个地址就能用；MIT 许可，GitHub 约 1.1 万星。
- Coder 版删掉一半专家、32GB 内存能装下，作者称保留满血版 91% 的 SWE-bench Verified 分，但中文等 CJK 文本明显变弱。
解读
- 对产品：本地推理开始够编码 agent 用。对隐私敏感、怕按量计费的团队，成本从月费变成一次性硬件加电费。
- 对选型：2–3 bit 量化是拿精度换速度。先用自己的任务跑一遍，别只看 tok/s。
- 术语：MoE = 混合专家，每次只激活少数子网络；量化（Q2/IQ3）= 用更少比特存权重，省内存但可能掉精度；投机解码 = 小模型先猜、大模型核对。
讨论
- 正方有人在 4090 + 128GB 内存上测到 124 tok/s；有人用自家代码题测，Strata 的 Q3 版通过 89%，高于 27B 稠密模型的 72%。
- 反方有人测 50 张图的视觉定位：同一权重在 Strata 上中位误差 155 像素，llama.cpp 只有 47；也有人觉得 4-bit 以下掉质量太多，宁可 1 美元/小时租卡跑 4-bit。
- 为什么不并进 llama.cpp：该项目要求贡献者看懂自己提交的代码，大量 AI 生成的内核难以合入，于是各自分叉。
- 共识速度已不是瓶颈，下一步比的是量化后的质量，以及能否进主流引擎。