标签: 端侧模型

清除筛选

Whistle 语音识别模型拆解:16.9 MB 单文件,CPU 跑出 11ms 首 token,与 Needle 共用引擎

Whistle:一个 16.9 MB 的文件,把语音识别塞进 30 秒音频和 11 毫秒首 token 端侧语音识别的常规剧本是把参数更大的模型量化压缩,再接受精度打折。Cactus Compute 这次给出的样本走的是另一条路:Whistle 是一个 Apache 2.0 协议的开放权重语音识别模型,整个模型就是单个 16.9 MB 的 .cact 文件,…