4 万条 JSON 记录写进 SQLite,按经验是亚毫秒级的活儿。Dennis Forbes 的国际象棋分析服务在第一份大批量对局数据上,这个过程跑了几分钟:单核打满、纯 CPU 消耗,而它做的只是插入。同一份代码在 macOS 上没有丝毫异样,部署到 Linux 才现形。
Forbes 把排查过程写成博客(dennisforbes.ca,2026-10-26),结论指向一个大多数人不会留意的角落:为 SQLite 做 C 交叉编译的 zig cc,以及 Zig 社区用纯 Zig 重写的那部分 libc。1.2MB 的 JSON 文本在 SQLite 里做词法切分,比正常实现慢了约 12000 倍,文件越大越接近平方级。Zig 官方仓库的 issue #37402 随后确认了根源,修复 PR 至今未合并。
从一条交叉编译链说起
Forbes 的服务用 Rust 写成,经 sqlx 的 sqlite crate 打包 SQLite,而 SQLite 本体是 C 项目。为了在一台 Mac 上同时产出 macOS ARM64 与 Linux x86-64/ARM64 的二进制,他选了 cargo-zigbuild:让 zig cc 充当 C 编译器,一条脚本、一台机器,不碰容器和构建机。这是 zig cc 最常见的使用场景。
zig cc 在交叉编译 C 代码时,链接的 C 标准库来自 Zig 自带的 lib/c,社区里通常叫 libzigc。它起步时直接复用 musl 的 C 源码,近几年按符号逐个用纯 Zig 重写,每补齐一批符号就删掉对应的 musl 源文件(Zig 维护者 squeek502 在 Lobsters 讨论里对这一机制做了确认)。重写的动机与静态链接有关:libzigc 把目标平台的 libc 功能带进二进制,产物不依赖目标机器装了哪个发行版的 glibc,一条命令产出的可执行文件扔到任何 Linux 上都能跑。Forbes 原文引用的宣传语正是这一点——从一台 Mac 的一条构建脚本出发,覆盖所有目标平台。
Forbes 踩中的,正是这批重写里的 strspn、strcspn、strpbrk、strstr:替换后的版本在真正开始查找之前,先把整条字符串从头到尾量一遍长度。
这也解释了平台差异的来源。Mac 构建链接的是系统 libc,与 libzigc 无关;只有 zig cc 产出的 Linux 二进制带着这套实现。
同一道题,两种走法
strspn(s, accept) 的语义很窄:返回 s 开头连续由 accept 中字符组成的前缀长度。SQLite 的 JSON 解析器用它跳过成员之间的空白,各类词法分析器也普遍依赖它「吃掉」分隔符。
musl 的实现是一段短小经典的 C:先扫一遍 accept,把允许的字符装进一个 32 字节的位图;再从头单遍扫描 s,遇到第一个不属于 accept 的字符立刻停下。成本是「接受集长度加匹配距离」,从不越过断点。
Zig 版要先做类型转换。看 lib/c/string.zig 里的实际代码(tag 0.17.1):
fn strspn(dst: [*:0]const c_char, values: [*:0]const c_char) callconv(.c) usize {
const dst_slice = std.mem.span(@as([*:0]const u8, @ptrCast(dst)));
return std.mem.findNone(u8, dst_slice,
std.mem.span(@as([*:0]const u8, @ptrCast(values)))) orelse dst_slice.len;
}[*:0]const u8 是指向 NUL 结尾字符串的指针,想变成带长度的切片,就必须先知道长度在哪。std.mem.span 的做法是走到 NUL 量出全长,然后 findNone 才开始找。每一次调用都要先付「整条字符串全长」的过路费。strchr 和 strchrnul 更直接,函数体第一行就是 std.mem.len。把这样的函数放进「前进几字节、再调一次」的循环里,总耗时就是平方级。
需要把两件事分开:这些重写版的结果都是对的。strchr 依然返回第一个匹配的位置,strspn 依然量出正确的前缀长度,POSIX 契约没有被打破。被打破的是成本契约——C 程序员几十年来默认 strchr 的开销正比于「到最近匹配点的距离」,而不是「整条字符串的长度」。Lobsters 评论区把这一点点破了:用安全切片包装 C 字符串,就得先付出一次定位 NUL 的扫描,这是类型系统换来的代价。正确性测试抓不住这类问题,因为每次调用的返回值都在预期之内。
这个模式有个老名字。Joel Spolsky 在 2001 年的 Back to Basics 里讲过 Shlemiel the Painter 的寓言:刷马路漆线的工人从不挪动漆桶,走得越远,花在来回取漆上的时间越多。Forbes 在脚注里补了一段亲历:SunSpider 时代的 Firefox 字符串拼接也犯过同款错误,他修掉之后 Brendan Eich 注意到了那篇博客,Firefox 随后在榜单上翻了身。
四十秒对五毫秒
issue #37402 给了这次回归最干净的度量。复现程序在 4MiB 字符串里每隔 64 字节塞一个换行符,再用 strchr 循环数行数,三档规模的结果:
| 字符串规模 | zig cc -target x86_64-linux-musl | musl-gcc(musl 1.2.4) |
|---|---|---|
| 1 MiB | 2.8 秒 | <5 毫秒 |
| 2 MiB | 11 秒 | <5 毫秒 |
| 4 MiB | 46 秒 | <5 毫秒 |

每翻一倍规模,耗时约翻四倍,平方复杂度的标准签名。把字节量摊开看更清楚:4MiB 字符串里有 65536 个换行符,每次 strchr 都要从当前位置一路走到字符串末尾的 NUL,累计约 137GB 的逐字节扫描;按每秒 3GB 左右的标量扫描速度折算,正好落在 46 秒上。用 1MiB 档的 2.8 秒做同一笔换算,得到的也是每秒 3GB——两个数据点折算出同一条扫描速度,平方模型两头都吻合。musl 版每次只扫 64 字节就碰到目标,全程毫秒级。
SQLite 里谁在调 strspn
Forbes 的原文只写到「SQLite 的 tokenizer」。我把 SQLite 3.54.1 的官方合并版源码(sqlite-amalgamation-3540100)拉下来检索了这批函数的调用点,三处落在热路径上:
- json.c 的 jsonTranslateTextToBlob(),JSON 文本解析主循环。每处理完一个成员,执行
j += 1 + (u32)strspn(&z[j+1], jsonSpaces)跳过空白,jsonSpaces 是 TAB、LF、CR 和空格四个字符。文档越大、成员越多,每次 strspn 要量的「剩余文档」越长,平方项就在这里逐个成员累加。同一文件靠前的一处注释写着 strspn() is not helpful here——SQLite 作者在那一处刻意避开了它,主循环里却没躲开。 - like.c 的 patternCompare(),LIKE 与 GLOB 匹配的扫描循环,用 strcspn 推进位置。
- 整数转换路径,
strspn(z, "+- \n\t0123456789")量出数字前缀长度。

对 Forbes 的服务,撞上的正是第一处:40,000 条 JSON 记录、1.2MB 文本,每条成员边界都触发一次先量全长的 strspn,插入从亚毫秒膨胀到分钟级。
修复停在 PR,缓解各显神通
issue #37402 处于 open 状态,被打上 bug 和 optimization 标签,里程碑 Urgent。对应修复 PR #37417 改动 lib/c/string.zig、strings.zig、wchar.zig 三个文件,方向是砍掉不必要全长循环,截至 11 月 5 日仍未合并。我核对了 0.16.0、0.17.0、0.17.1 三个 tag 的 lib/c/string.zig,strspn 与 strchr 的写法在三个版本里完全一致:这批重写后的实现带着这个问题,至少已经穿越了两个已发布的版本线。
Forbes 自己走了两条缓解路。第一招在业务侧:把 JSON 预先去掉空白再入库,词法切分要跳的空白少了,平方项的系数随之缩小。第二招在工具链侧:Linux 构建从 zig cc 挪进 Linux 容器,让 SQLite 回到目标平台的 libc 上编译,彻底绕开 libzigc。
Lobsters 讨论区把话题推向了预防。有人认为这类 accidentally-quadratic 的错误用 LLM 代码审查「理应」能抓住;反驳的意见是,代价是错过社区一起定位问题的过程,pre-1.0 的语言经得起这类曲折。更具工程味的提议是一个「比率门禁」:让 CI 对同一函数在 1 倍、10 倍、100 倍、1000 倍输入下各测一次耗时,从耗时比值推导复杂度档位,超档即拦截。它不需要理解代码在做什么,只需要盯住增长曲线的形状。
Spolsky 写下 Shlemiel the Painter 是 2001 年;Firefox 的字符串拼接复盘发生在二十多年前;2026 年,同一个模式出现在一条用纯 Zig 重写的 libc 里,挡住了一台 Rust 服务的数据库写入。Forbes 原文的结语很平:这些老问题会复发,所有人都需要保持警惕。
来源:
- Forbes, D. — Shlemiel the Painter Is Back: How Zig's libc Rewrite Made SQLite 12,000× Slower(dennisforbes.ca,2026-10-26)
- ziglang/zig issue #37402「strchr and friends in lib/c read the whole string before searching」与 PR #37417(codeberg.org)
- musl strspn 实现(git.musl-libc.org,src/string/strspn.c)
- SQLite 3.54.1 合并版源码(sqlite.org,json.c / like.c 调用点核对)
- Lobsters 讨论串(lobste.rs/s/lh1j0e)