DeltaNet 中的 WY 变换:从 Delta Rule 到分块并行
从记忆覆写出发,推导 WY 表示与三角求解,看清一串递归更新如何重组为适合 GPU 的分块矩阵计算。
阅读笔记Current thread · 2026.09
近期聚焦线性注意力中的状态更新:记忆如何依据误差被覆写,因果依赖又如何重组为适合硬件的矩阵计算。 这里收录完整笔记、知识整理,也保留一些用来验证想法的交互实验。
Selected writing
从机制出发,追踪一次操作真正经过的对象、边界与代价。
Interactive work
有些问题更适合直接操作、观察和重试。