月之暗面改了 Transformer 的残差连接，48B Kimi Linear 跑出约 1.25 倍等效算力优势
月之暗面改了 Transformer 的残差连接，48B Kimi Linear 跑出约 1.25 倍等效算力优势 月之暗面最近放出的 Attention Residuals 技术报告，把注意力放回到了 Transformer 里一块更基础的结构：残差连接。它关心的重点，不是参数量和上下文长度，而是层与层之间的信息怎么传。 论文的核心做法，是把标准残差里“前…
月之暗面改了 Transformer 的残差连接，48B Kimi Linear 跑出约 1.25 倍等效算力优势 月之暗面最近放出的 Attention Residuals 技术报告，把注意力放回到了 Transformer 里一块更基础的结构：残差连接。它关心的重点，不是参数量和上下文长度，而是层与层之间的信息怎么传。 论文的核心做法，是把标准残差里“前…