1
大模型直接改权重：Qwen 小模型数学分数翻了 6 倍
MIT CSAIL 团队（含 DSPy 作者 Omar Khattab）发文称，GPT-6 Astra 不用梯度、只靠推理就能读懂和改写神经网络权重。
优化模型的方式可能从「跑训练」变成「让另一个模型想清楚再动手改」。
事实
- 读：把 1.7 万个权重以文本形式给 Astra，不告诉选项，它能说出四个小网络分别是练哪款游戏的（如 Breakout）。
- 写：不给环境反馈，它从零写出的小游戏网络，能打赢用 PPO 训练 1 亿步的网络。
- 改：它发现 Qwen3.5-0.8B 推理时会死循环（96 个练习答案里 85 个跑满 32768 token 上限），在第 15、19 层减掉一个方向，共改约 13 万个权重，MATH-500 从 7.9% 到 48.1%，IFEval 约 3 倍。
- 作者自己的局限说明：对 Gemma 3 270M 的同类修改几乎没提升；改权重能移走「挡住能力的障碍」，加不了模型本来没有的能力。
解读
- PPO 是一种常见的强化学习训练算法；「权重空间编程」指不经训练、直接按目标手写或修改权重。
- Qwen 的提升主要来自修好「复读机」毛病，而不是教会新数学，这一点标题容易误导。
- 对做产品的人：模型行为的毛病（循环、拒答、谄媚）以后可能像改 bug 一样被定位和修补，微调不再是唯一手段。
讨论
- 正方高赞评论说「被震住了」：没有工具，就能看权重判断网络行为，还能手改小模型。
- 反方有人指出 Qwen 这一步本质上和已知的「去拒答（abliteration）」类似：找到一个方向减掉，不是凭空理解。
- 反方也有人怀疑这不是涌现能力，而是 OpenAI 专门喂了权重数据，想冲「递归自我改进」。
- 反方做过超网络、权重生成研究的人提醒，这个子领域早就存在，帖子里的兴奋有点过头。
- 共识多人认为文章把「看小网络权重」和「借助脚本改 Qwen」两类结果放在一起讲，读的时候要分开看。