标签: 线性注意力

Qwen 开源高性能线性注意力内核库 FlashQLA，速度提升 2-3 倍

Qwen 团队正式开源 FlashQLA——一个基于 TileLang 实现的高性能线性注意力算子库，专为 Gated Delta Network（GDN）打造。该项目将 GDN Chunked Prefill 的前向和反向进行了合理的算子融合与代数优化，在 NVIDIA Hopper 上实现多场景相较于 FLA Triton Kernel 2-3× 前向加…