“The roadblocks I expected mostly aren’t there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. It may be a bitter lesson for interpretability: the simple thing, at absurd scale, works.”
我原本预期会遇到的路障，大部分并不存在。我现在认为，雄心勃勃的可解释性会在我们最需要它之前被解决，而且可能相当快——随着自动化科学家不断变强。可解释性或许也有自己的「苦涩的教训」：简单的东西，以荒谬的规模堆上去，就是有效。
— Nick Cammarata，X 发布帖
对应的方法论转向是：从枚举式可解释性（enumerative，目标是列出一份完整特征清单以备审计）
转向探索式可解释性（exploratory，从问题出发，像 Google Maps 一样在归因图、神经元、注意力头之间自由缩放）。
作者认为探索式路线对多义性远为鲁棒，也是他判断「问『特征是否多于维度』基本无关紧要」的理由。
“It’s clean the way a rainforest is clean: nearly every animal in it makes sense.”
它干净得像一片雨林：里面的每一种动物都是有道理的。老虎之所以是亮橙色，不是因为什么任意的原因——而是因为鹿分不清橙色和绿色，而绿色皮毛对哺乳动物来说难做得多。
— 原文「On the Title」一节，解释为什么标题不加「比我们想的更干净」这个软化词
作者本人的置信度是 85%，而且他刻意选了强硬的标题。原文「On the Title」一节解释了自己为什么不软化标题：
因为这是「种类的变化，不是程度的变化」。这个理由在认识论上是诚实的（他明确说了自己的更新是「从智能设计到自然选择」那种）
——但它也意味着标题故意不承担证据强度的限定，而 X 上的传播沿用了标题。
但我不认为这等于「没什么新东西」。恰恰相反，这份材料里有三件我认为已经站得住的事：
对历史证据的翻案是有说服力的。「猫+车」不是任意混合，而是 V 形 —— 这个读法可以直接在图上验看，
而且作者是那个例子的原始作者之一，他不是在挑战别人的观察，他是在纠正自己写的教材。
他还指出一个此前没被强调过的事实：那是他们发表的唯一一个此类电路，而这个形状此后没有人再发表过第二个。
“The little faith is important because the mistakes aren’t symmetric. If you assume a network is clean and you’re wrong, a messy neuron is a lead. If you assume it’s packed, not worth studying directly, and you’re wrong, a messy neuron is the end, because you stop studying it.”
那一点点信念之所以重要，是因为两种错误不对称。如果你假设网络是干净的而错了，一个混乱的神经元是一条线索；如果你假设它被打包过、不值得直接研究而错了，混乱的神经元就是终点——因为你不再研究它了。
— 原文「A City vs a Knot」。这段话是整篇长文里论证最有力的部分，也是它值得被认真对待的理由。