Latest · 最新一篇
神经网络「本来就是干净的」？可解释性叠加假说的翻案
Goodfire 的 Nick Cammarata 说，当年那个著名的「猫+车神经元」其实是个 V 形检测器；多义性来自「递归泛化」，而不是叠加。他自己 2023 年在 OpenAI 只找到约 1.7% 的可解读神经元，现在给 Qwen3-32B 的读数是约 90%。这篇把原文四步论证、全部关键数字，与 Neel Nanda 等人的逐条反驳整理到一起，并给出「现在能叫突破吗」的判断。
阅读全文 →
附录：他到底看到了什么——八个支撑实验
上一篇的证据附录。压缩实验把 480 个神经元砍到 10 个、看会不会逼出叠加；SAE 训出来 88% 只是已有神经元的副本；弱激活消融只掉了 0.6 个百分点；教模型把雨伞认成蜜蜂，它是在两条已有路径间搭了个匝道。每个实验都标了可信度：哪些有明确设计，哪些依赖作者自评。
把「特征何时被生成」变成可测量的量
「扩散先出粗结构后出细节」是句直觉。这篇用 I-MMSE 恒等式把它变成一条可积分的曲线：特征信息密度。定量确认像素扩散 ≈ 谱自回归，还发现像素空间里 mask 信息比类别信息进入得更早；四种表征中只有 RAE 做出干净的 类 → 掩码 → 边缘 顺序。表征选择由此从黑箱变成可诊断的旋钮。
不靠 CFG：给扩散模型加一个「矫正网络」
扩散模型没有 classifier-free guidance 就出不了好图——根源是训练与推理之间的分布差距。这篇的做法是加一个矫正网络，把去噪器的预测往同一干净目标上拉，采样时在每个去噪步内重复 K 次。DiT 无引导 FID 从 9.58 到 2.07，保留多样性、避免过饱和，还能蒸馏回基座消除推理开销。
把速度乘个系数，到底修的是什么？
流匹配里把学到的速度场乘个增益能明显提升生成质量，前人说是修 MSE 训练造成的速度低估。这篇用一条方差恒等式和 0.999 的实测乘子推翻了那个解释，给出真正机制——群体时间滞后，并顺手给出一种完全不看图片指标的增益标定法。附交互演示与对流匹配研究的可用性分析。
训练时随便配对，为什么反而更好？
流匹配训练要把噪声和数据配成对。Global Transport（GT）主张：别管标签，直接对整批做一次全局最优传输配对——无引导条件下更差，配上 CFG 却全面更好。这个反转把「耦合选择」变成一条可加、便宜、跨架构的性能轴。含交互演示与对 3D MRI 生成的适用性讨论。
一个预测核心，能装下七个世界吗？
JEPA-Anything 把「什么都要预测」的整体目标向量，切成 K 块互相正交、各配专属预测器的因子，再用伪逆合成回一个完整隐状态。七种模态同一套可加损失，10 项匹配动力学任务全部占优，还把因子坐标接到湿实验验证与开普勒定律诊断上。含方法拆解、全部数据表与批判性评估。
乘法，还是加法？把更新规则换成大脑的用法
Neuron 2026 这篇论文把「突触变化怎么度量」重新推了一遍：换一种几何，梯度下降就变成乘性的指数梯度（EG）——性能不输 GD，权重自动长成大脑里的对数正态分布，剪枝更扛揍，无关输入越多优势越大。推导、实验证据与 PyTorch 落地代码，一篇讲透，页内还带一个能亲手跑的训练演示。
Claude 的 Mods 是个啥？DeepSeek 给它搭的桥，能走吗？
Claude Code 的插件体系 Mods（function hooks）已经默认开启；DeepSeek Harness 最新版发布的「Claude Code Mods 兼容层」，官方原话是验证子集关系、并非完整兼容。这篇把两边的机制和生态拆开，看看那座桥到底通到了哪一步。
这个分类下还没有文章。