edsfod

当我们选购商品时发生了什么

Sat, 07 Nov 2026 14:32:00 GMT

第一步，先明确输入和输出。

假设我们有一系列主观需求和客观参数作为输入 $\text{Input}(r_1, r_2, \dots, r_n, c_1, c_2, \dots, c_m)$ ，同时面对一个商品的候选全集 $\text{AllProduct}(p_1, p_2, \dots, p_k)$ 。表面上看，选购商品是构造一个从 $\text{Input}$ 到 $\text{AllProduct}$ 幂集的映射，或者说找到并构造一个筛选函数 $f$ ，使得在给定 $\text{Input}$ 下能从 $\text{AllProduct}$ 中筛出一个可行子集 $\text{Product}$ ，再按照一定的价值准则对 $\text{Product}$ 的元素做偏序排序。

但事实是，在真正开始选购之前，我们往往并不了解 $\text{Input}$ ——不论是需求 $r$ 还是参数 $c$ ，我们可能并不知道自己的需求该如何准确表述，也不知道这样的 $f$ 需要接收什么样的 $c$ 作为判据。

所以，选购一定是一个迭代过程。但仅靠上面的静态模型，还不足以解释迭代的成分究竟在哪里。要拆解这个问题，得先对构造 $f$ 的过程做点研究。

残缺与冗余的输入

显然， $f$ 不是一个先验存在的函数。要构造 $f$ ，必须先对初始输入 $\text{Input}_1$ （一个有限的、元数可能过多也可能过少的输入）进行分解。在构造 $f$ 的过程中，如果去对照 $\text{AllProduct}$ 并与真实世界交互，通常会发现两类问题。

第一类问题是 $\text{Input}_1$ 的元数是残缺的，某些很重要的维度一开始居然完全没有考虑到。比如买鞋居然还要考虑宽度，男鞋宽楦有 D、2E、4E 之分（不过很不幸，由于一般来说只有非大陆品牌的鞋在这方面有比较正式的分级和研究，许多大陆消费者甚至无法仅凭商品列表意识到这个参数，只能在实际穿鞋过程中通过感觉鞋子很紧、脚侧被勒痛，才发现自己的 $\text{Input}_1$ 是残缺的）。

第二类问题是输入冗余。有时我们会发现，自己列出的某个参数其实是被其他一个或多个参数决定的。这时候由于领域知识的不足（否则一开始也不会没有发现冗余了），强行独立指定的几个参数之间甚至可能存在内部矛盾，导致在 $\text{AllProduct}$ 中根本筛不出任何商品。

经验算子与输入解耦

在遍历 $\text{AllProduct}$ 参数结构与接收实证反馈的过程中，我们可以抽象出所谓的经验（或者说学习结果），将其记作 $h$ 。也就是说，在尝试以 $\text{Input}_1$ 为起点、以 $\text{AllProduct}$ 为候选集构造筛选规则 $f$ 从而寻找 $\text{Product}$ 的时候，会沉淀出算子 $h$ ——它用来更新和规整我们的 $\text{Input}$ 结构，补齐缺失维度并消去冗余与矛盾，从而降低构造 $f$ 的复杂度，更准确地找出 $\text{Product}$ 。

读到这里可能会觉得有些奇怪，但又说不上哪里奇怪——前面说要找一个映射 $f$ ，为什么一会儿像是把 $\text{Input}$ 当作起点去构造 $f$ ，一会儿又像是把商品喂给 $f$ ？

事实上，针对具体购买任务实例化的筛选规则 $f_{\text{Input}}$ （接收候选商品并给出是否入选及偏序关系）本身是随着 $\text{Input}$ 变化的。在没有沉淀出 $h$ 之前，输入里的噪声、残缺与筛选逻辑是混在一起的；换句话说，得出 $h$ 的过程，其实是迭代地对 $\text{Input}$ 和 $f$ 解耦合的过程。先由 $h$ 将粗糙的 $\text{Input}$ 规整为规范参数空间里的 $\text{Input}_{\text{final}}$ ，再根据规整化后的输入导出对应的筛选函数 $f_{\text{final}}$ 。

选择与设计的分叉

一旦把 $h$ 抽离出来，选择与设计的分叉就在这里出现了。

选择是什么呢？选择只求单点收敛，无非是在某一次具体的迭代中凑出了那个 $\text{Input}_{A,\text{final}}$ ，并且摸索出了对应的 $f_{A,\text{final}}$ ，于是从 $\text{AllProduct}$ 中得出了 $\text{Product}_A$ 。至于中间有没有提炼出普适的 $h$ ，并不影响这次选择结束。

而选型与设计则是得到了完整的 $h$ 。得到 $h$ 后，任意给定一个粗糙的 $\text{Input}_X$ ，都知道如何用 $h$ 将 $\text{Input}_X$ 规整化为 $\text{Input}_{X,\text{final}}$ ，同时根据规整化后的输入构造出对应的 $f_{X,\text{final}}$ ：

如果拿着 $f_{X,\text{final}}$ 去现有的 $\text{AllProduct}$ 里能筛出非空子集 $\text{Product}_X$ ，这就是专业的选型或导购。
如果规整后的 $f_{X,\text{final}}$ 在现有的 $\text{AllProduct}$ 中筛出了空集（市面上没有任何现成商品满足这套规范参数），转而将这套约束反转过来作为蓝图，去定义一件原本不存在的新商品 $p_{\text{new}}$ 以扩充 $\text{AllProduct}$ ，这就成了产品设计。

结语

把选购商品的过程拆开来看，所谓的“懂行”或“经验”并不是什么神秘的直觉，无非是在反复试错中沉淀出了规整算子 $h$ ，把原本缠在一起的“理清自己要什么（规整 $\text{Input}$ ）”和“按标准挑东西（构造 $f$ ）”拆成了两件独立的事。单次买对东西，只是在某一个具体样本上走通了闭环；而掌握了 $h$ ，才算把零散的试错转化成了可复用的方法。

"权重空间编程"是平凡的

Sat, 07 Nov 2026 07:39:13 GMT

2026 年 11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发表了博客 Sparks of Weight-Space Programming，在社区里反响不小。第二天 arXiv 上就出现了两篇跟进：一篇设想用它改进图像复原扩散模型（2611.04268，作者注明全文只是猜想，没有实验），一篇用它审计放疗临床决策网络（2611.05341）。

博客展示的范式看上去很科幻：不跑梯度下降，不写训练循环，让通用大模型 GPT-6 Astra 直接读写另一个神经网络的权重。作者称之为权重空间编程（Weight-Space Programming，下文简称 WSP）。原文共八个实验，分读、修、从零写三类，传播最广的是开头展示的三个结果：

读：只看一个 17,253 参数的策略网络的原始权重，不用工具，就说出它是在哪个游戏上训练的。另一个实验只给一个 7.2M 参数字符级模型中间的四层，它判断出了训练语料是 Python、英文还是罗马字日文，并找出了全部复制头（induction head），没有误报。
修：一个用 PPO 训练的小车策略陷入局部最优，256 局一次都没成功。Astra 不用工具，一次回复改了 3.5% 的权重，之后 1,024 局全部成功。
改真实 LLM：对 Qwen3.5-0.8B，Astra 只改了 0.016%（131,072 个）的权重，MATH-500 就从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，IFEval 从 21.0% 升到 62.3%。

只看标题和摘要，很容易以为大模型已经能看穿参数矩阵，掌握了某种人类理解不了的能力。原文也确实说，这种能力可能超出我们对人类或常规算法的预期。

但把实验条件和因果链条逐个摊开，会发现 WSP 很平凡（指机制上没有新东西，用的都是已有的可解释性方法和工程手段，只是交给 LLM 自动执行。这不妨碍它在工程上有用）。

已有知识的迁移

这些实验可以归结为同一件事：在受控条件下，被分析网络的权重 $W$ 或运行时激活 $A(x; W)$ 里的结构，对 Astra 来说本来就有迹可循；它能定位问题、做消融或调参，靠的是训练时学到的机械可解释性、控制和线性代数知识。

原文反复强调 Astra 是没有为此专门训练过的通用模型，但这算不上卖点。机械可解释性的论文和代码本来就在训练语料里，用不着谁专门去训。

所以这里发生的不是新直觉的涌现，而是已有知识的迁移，加上自动化的工程执行。按网络大小和实验条件，可以分两种情况来看。

一、较大的网络：脚本与前向运行

在找复制头和修 Qwen3.5-0.8B 这两个实验里，Astra 并没有把几百万个浮点数塞进上下文硬读。

找复制头时，实验给了 Astra 一个 Python 环境分析权重张量（最多运行 100 次），只是不许在任何输入上运行网络或其中某一层。它先找到第一层里一个“往前看一个字符”的头，再通过矩阵相乘，找出后面利用这个头带来的信息去检索的头。原作者也指出，这正是 Anthropic 的 Elhage 等人提出的方法，而他们从没在提示里提过。一个读过大量机械可解释性论文和代码的模型，知道复制头的电路长什么样，写几行脚本把它算出来，是在复现已有的方法。

修 Qwen3.5-0.8B 时给的条件更多。Astra 可以在 Python 里直接操作权重，还可以用一定预算的“前向”让模型做练习题或读入文本，预算分 10、25、50 三档。这里的一次前向是一整批：最多让模型答 512 道题，或读入 1,024 段文本。48.1% 是 50 次预算下的成绩；预算为 10 或 25 时，撞上 token 上限的回答比例只从 93% 降到 87% 和 86%，循环几乎没减少。

Astra 把“思考死循环”追溯到第 15 层和第 19 层 MLP 写出的同一个方向，然后在这两层各取 64 列输出权重，把这个方向减掉。原文没有给出公式，按标准的方向消融来写：设 $\hat d$ 是单位化的循环方向， $w_j$ 是被选中的一列（一个神经元写入残差流的向量），则

w_j \leftarrow w_j - (\hat d^{\top} w_j)\,\hat d

即去掉这些列在 $\hat d$ 上的分量。

这和开源社区熟悉的 abliteration（从权重里删掉一个方向）是同一类操作，区别只在于这次只动了 128 列而不是整个矩阵，并且“对比激活、找出方向”这一步交给了 LLM。原文自己也说，这一步很像通过删除单个方向来去掉模型的某种行为。

模型本来就会做题，只是被循环卡住答不完；切掉循环方向，能力就放出来了。原文的补充实验也印证了这一点：换成很少陷入循环的 Gemma 3 270M，Astra 怎么改都没能让 MATH-500 提高一个点以上。作者的结论是，改权重能去掉遮住能力的障碍，但加不出模型本来没有的能力。

二、小网络：靠输入输出语义

那么，在不给工具、只看权重的小网络实验里（17K 参数的游戏识别、17 万参数的小车修复），又发生了什么？

隐藏层的神经元可以任意重排而不改变网络功能，一个没有任何上下文的浮点数矩阵本身很难解读。这些实验能做成，前提是 Astra 拿到了足够的语义：输入输出每一维的含义，再视实验而定，加上场景描述、失败的运行记录，或者游戏规则和源码。

当输入的某一维明确是小车速度、输出的某一维明确是某个电机动作时，第一层和最后一层的参数就不再是黑盒，而是一组带变量名的线性系数。游戏识别靠的就是这个：比如在 Breakout 网络里，代表玩家的输入通道，其第一层权重集中在最底下一行，那正是挡板的位置。

小车修复也类似。Astra 并没有逐个去找“出错”的权重，而是在每层借用少量单元，另开一条小通路：读取小车的位置和速度，先倒车，等绿色轮子越过红色区域就关闭，剩下的交给原网络。改动的 3.5% 权重基本就是这条通路，相当于程序员不碰原有代码，只加了一个 if 分支，只不过是用神经网络的形式写的。

从零写网络的实验也是同一回事。三个 MinAtar 游戏里，Astra 拿到了规则、源码和输入输出布局；在 Breakout 中，它让第一层计算球的落点，第二层把挡板移过去，是先构思程序，再“编译”成权重。原文拿它和 PPO 比（517.4 分对训练 5 亿步的 PPO 的 25.3 分），但这个对比说明不了什么：Breakout 本来就有现成的规则解，算落点、移挡板，谁手写一个规则策略都能拿高分，赢一个小网络上的 PPO 基线不值一提。9×9 围棋那个 150 万参数的网络，也是它在 Python 沙盒里用 336 行代码逐层写出来的。

反过来，一旦拿走语义锚点，Astra 就不灵了。有一个实验让它判断两个 Gemma 3 270M 微调副本里哪个会谄媚用户，为了排除从输入输出上找差异的捷径，作者冻结了输入嵌入和输出层。只看权重，Astra 四次都没答出来；允许它看自己构造的文本上的注意力模式之后，三组都判断对了。

常规手段也能做到

说它平凡，最直接的证据是常规手段也能做到同样的事。

读权重这件事，并不需要前沿模型。原文发布第二天，Simon Willison 把游戏识别实验的原始提示词原样喂给笔记本上本地运行的 Qwen 3.8 27B，每题跑四五十分钟到一个多小时，认出了 Pac-Man、Pong 和 Breakout，只在 Freeway 上猜错。他的评价是：一个有经验的人拿着纸笔，花足够的功夫，也能得出同样的结论。

放疗审计那篇跟进论文做得比较扎实：它让 Claude Opus 5.5 在不用工具的情况下，审计 433 到 4,801 个参数的小型临床筛查网络。模型在 18 个植入了缺陷的网络里找出了 16 个，修复时中位数只改 3 个参数。但作者同时发现，这些缺陷在单个神经元上就能看出来；针对每类缺陷挑一个简单统计量，能找到同样的问题；而对其中的混杂和阈值偏移，黑盒测试找得更快。论文的结论也很克制：在小网络里，它能找到并修复让某个输入失效或让阈值偏移的缺陷，但还不能证明一个网络是正确的。

Qwen 那个实验同理。只要知道问题出在死循环，从激活里找出循环方向再把它消掉，本来就是表征工程的常规流程，原文自己也是这么类比的。

结语

把这篇博客还原到实验条件上，能看清两点：

Astra 能读懂权重和激活，是有边界条件的：要么网络很小，并且输入输出的语义是明示的；要么允许它用 Python 分析权重，像修 Qwen 这样的任务还得加上成批的前向运行。
它读写和修改权重的能力，很可能来自训练时见过的知识，比如复制头的电路结构、方向消融、控制算法，所以识别出问题之后知道该怎么改。不过 GPT-6 Astra 的训练数据没有公开，这一点只能推断。

把研究员手工做的机械可解释性分析和表征工程（representation engineering）封装成由前沿 LLM 驱动的自动化闭环，在工程上确实有用，这也是为什么第二天就有人把它套到临床模型审计和图像复原上。但从机制上看，这不是什么神秘的“权重空间原生编程”，而是大模型借助已有知识，对神经网络做了一次自动化的静态分析，再打了个补丁。