他到底看到了什么 Neural Networks Are Already Clean — The Experiments

作者把「当年末层几乎不可读」拆成两个独立成因，两个都不是「叠加」：

• 显微镜问题。特征可视化缺少变换鲁棒性，且在后层会「奖励黑客」—— 自由优化可以画出狗，即使正在追踪的电路传的是汽车信息。 修法很朴素：把优化偏向真实图像走过的路径，通常只需要前 64 步就够「离开狗的盆地」。
• 模型问题。InceptionV1 没有残差流，深层学得不好，于是末层「溢出」。 作者用同样参数量、同样数据集、但没有可解释性动机的现代架构（带残差连接、LayerNorm 等）复现：末层「很漂亮」。

这是全篇最像「判决性实验」的一段，也是我认为最值得独立复现的一个。 逻辑很干净：如果叠加是真的，那么挤压容量就应该逼出叠加。

作者选了 InceptionV1 的 3b 层——包含曲线神经元和高低频神经元的那一层， 480 个神经元砍到 10 个（48 倍），从零重训，且这个架构没有残差流，神经元「绕不过去」。 他的预期是看到「曲线 + 橙色螺旋 + 蛛网 + 好几种其他纹理检测器叠在一起」，也就是说，应该很戏剧化。

结果是没有。神经元保持可解释，只是变粗：十个曲线检测器变成了一个「曲线与环」神经元、 好几种圆检测器变成两个。要验证曲线是不是被藏到了高维组合里，他对这层训练 SAE—— 提不出干净曲线，特征「又宽又挤在一起」。第二个版本用中等 ConvNeXt， 把末层从 1024 砍到 13，同样的现象：只是变宽。

作者由此给出一个很好记的判断：「空间不够的网络不会切换学习原理，它的神经元只是变得更宽。」 粗神经元通常容易拆解——前提是你知道该看什么；不知道加上工具弱，它们看起来就像任意的混合。

如果神经元的组合里藏着东西，字典（如 SAE）就应该找到神经元所缺少的构件。作者训练了好几个，自己找也带着智能体找：

• 末层 88% 的 SAE 活动是单个神经元的近副本；剩下的很微弱。
• 把每一个「不匹配任何神经元」的字典方向都删掉，精度不变；它翻转的几个答案本来就是接近的平局。
• 在每一层里搜「让少数单元承载最多活动」的那个旋转，从随机出发，最后都落回神经元。
• 他举的最清楚的例子是蜘蛛：SAE 单元是「不同场景里的蜘蛛」，神经元是「腿上的花纹」和「网」—— 两者不太矛盾，SAE 像是把已有构件按上下文重新分组。

结论措辞很克制：「我从未看到 SAE 抓住过神经元没抓住的根本性东西。 如果一个特定规模的模型没搞懂棒球运动员，它的 SAE 也没搞懂。而当这个模型终于懂棒球运动员时，那是在一个神经元上。」

顺带他还回应了一篇具体的反例论文：The Missing Curve Detectors of InceptionV1。 他的说法是：那些 SAE 曲线分解开来就是已有的曲线响应神经元； 「当只对曲线激活训练 SAE 时，它用掉了 10 万个字典项里的 84k 个」—— 可以找到很多组合，而这会让人误以为构件比实际更多。

这是后来争议最集中的地方，值得看清楚他到底做了什么实验。关于弱激活，他其实在问三个不同的问题， 并且分开回答：

• 它们是泛化还是叠加？他的论证是密度：弱激活比强激活密得多， 一个「不相关的特征」如果想躲在弱激活里不被碰撞，它要对付的东西会多好几个数量级，而收益几乎没有。
• 用百分位还是原始激活值？他改口了：以前用百分位（便于标准化），现在认为神经元的原始形状本身有信息 ——有的神经元在很低的范围内保持含义，有的一到最大值的 5% 就断崖式掉落。 「百分位把那个压平了，而那恰恰告诉你面对的是旋钮还是检测器。」
• 标注一个神经元需要它们吗？通常不需要。他的经验是：手跟过几百个「看起来不相关」的弱激活， 几乎全部最终都相关，只是要追到电路里才看得出来。

实验层面最直接的一条：在 InceptionV1 末层只保留约最强的四分之一的正面激活， 精度从 70.08% 只掉到 69.47%；中号 ConvNeXt 的后段 MLP 分支同样耐受。 他观察到的损失是「更细的区分」而不是「整个不相关的特征消失」。

另一条是量级：把 1 亿个 token 送过一个 Qwen3-32B 神经元， 几乎全部贴近零，只有约 160 个进入强的那一半。

这是我认为全篇最有说服力、也最容易被忽略的一个实验，因为它直接触及「潜伏特征／后门」这类恐惧。

设计：教一个 7.06M 参数的小模型一件荒谬的事——一张雨伞的照片，标签是「蜜蜂」。 按恐惧剧本，网络应该造一个「只抓住这组像素、和别的什么都不连、直接说 bee」的隐藏特征。

实际发生的不是这样。训练 9 步，top 猜测从 umbrella → maypole → bee； 雨伞神经元淡出，已有的蜜蜂神经元亮起来，而且几乎全部发生在最后三个 block—— 只把那三个 block 替换进原模型，它就说「bee」。 作者的说法是：与其造一个和任何普通雨伞／蜜蜂路径都不相连的隐藏特征， 不如在两条已有的路径之间搭一个「下匝道」——学得更快，因为它有现成的梯度与可塑性。

同一节的另一条观察：记忆倾向于尽量靠近输出层，因为记忆只需要「把答案查出来」， 后期的层干了大部分活。而稀有类别往往更「合并」——ImageNet 需要大量狗的模式，但三角龙只要一个神经元。

这一节的实验由作者与同事 Curt Tigges 一起完成，细节「在即将发表的论文里」。 尽管材料不完整，他给出的读数很明确：

• Qwen3-32B 初步审计：约 90% 的神经元极点只有一个主职（常带小的相关分支）， 约 7% 有两个相关职责，只有约 2–4% 尚未理解。密集模型与 MoE 模型大致类似。 「我从没见过一个有十件不相关事情的神经元。」
• GPT-2 XL（2023 那个项目里的模型，<2% 干净）：回头做 500 篇神经元论文，几乎没迭代， 现在约 70% 看起来大致是一件事（其中「纯粹干净」的仍然只有约 5%）， 剩下的是「做几件宽泛的事，最多约六件，大多两件」。小模型的神经元更宽、残余泛化更多。
• 万亿参数：给出 Kimi K3 上一个只用神经元的归因图——问它捡到钱包该怎么办， 它把钱包、现金、身份证连接到「失物」和「诚实」，输出「归还」。 作者说，据他们所知这是首个发表的万亿参数级模型的归因图。
• 一个「pr」神经元的翻案：在前沿模型里找到主要响应 pr、但也响应一堆 Base64 URL 和孟加拉文的神经元， 他以为终于抓到了任意混合。解码 URL：都是 pr 词。翻译孟加拉文：pr。
• 一个「多义逗号神经元」的翻案：标准 top-k 自动可解释性把它标成多义逗号神经元， 仔细看其实在追踪科罗拉多（电话区号、俚语、以及连接到其他科罗拉多神经元）， 那些逗号是模型存放「到目前为止关于科罗拉多的摘要」的地方。给它导向，模型会想去徒步。

这条被 Nanda 单独点出来说「是个有用的点」。现代神经元的 gate 与 value 相乘， 当两者都是负数时输出为正——于是一个神经元可能因为两种完全不同的原因而放电。

在「敌人」神经元里，p75–p99 的噪声中段131/133 是双负造成的，而最强的尾部 （p99.99 以上）93/93 是正×正。对约 4% 的神经元来说，这种「回声」占据了激活榜的顶部。 在全网络消融它，大部分基准上升，但部分推理基准下降。 作者的推测很平淡（某个神经元用这类激活来「想得更久」），并直接喊话架构设计者去修。

这一条的方法论意义在于：它给出了一个「架构问题被误读成叠加」的现成实例—— 正是他用来解释 InceptionV1 末层的同一套逻辑。

「你什么都能解释」是这个领域最常见的反驳。原文给了两组具体设计：

• 正例与近似反例（near miss）。200 个随机神经元，智能体只读解释， 在测量任何东西之前先写 5 个「应该激发」的例子和 5 个「不该激发」的近似例。 在 183 个解释描述了正极点的神经元里：新例子强激发率 76%，近似反例 11%； 解释赢了 164 个、平 15 个、输 4 个。
• 盲最大（blind maximum）。智能体 A 调查神经元写一句解释；智能体 B 只看到那句解释，写一个能最大化激发它的例子。结果通常是一句简单可读的话， 而它能比他们在 100 亿 token 里找到的任何真实例子都更强烈地激发该神经元。
• 最远概念测试。让智能体编造它能想到的最遥远的概念——就是那种「网络可以无干涉地塞进去」的东西， 写 5 段文本。这些文本激发神经元的比例约 1%，183 个里有 179 个完全没被激发。 作者在 MoE 里补了一句：这种打包在 MoE 里几乎不可能，因为离得那么远的 token 根本不会被路由到同一个专家。

他也承认这类测试的界限：「猫和车」这个解释能在很多测试上表现良好，同时完全错过 V 的本质。 而最好的批评是针对猜想的、具体的批评，不是汇总统计量。