Swiftlet：让 80B 大模型跑在 4.3GB 内存里的专家流式推理
一台 16GB 内存的 Mac mini 跑 80B 参数的大模型，一台 iPhone 17 跑 35B 参数的模型——而且不是靠云端中转，全部在本地完成。开源项目 Swiftlet 用一种叫做「专家流式推理」（Expert Streaming）的技术做到了这一点，峰值内存占用分别只有 4.3GB 和 2.5GB。 Swiftlet 项目主页 Swiftle…
一台 16GB 内存的 Mac mini 跑 80B 参数的大模型，一台 iPhone 17 跑 35B 参数的模型——而且不是靠云端中转，全部在本地完成。开源项目 Swiftlet 用一种叫做「专家流式推理」（Expert Streaming）的技术做到了这一点，峰值内存占用分别只有 4.3GB 和 2.5GB。 Swiftlet 项目主页 Swiftle…