跳到正文

internal demo

流式输出按固定速率渲染

上游 token 节奏不可控:快的时候一帧塞多个 token,慢的时候几百毫秒不动。问题不是"接不住",而是"渲染节奏跟着上游一起抖"。 下面用 requestAnimationFrame 把渲染节奏拍成匀速, 同时跑一个 naive 消费做对比。

run #0 · 上游 2–5ms / token,偶发 30ms 长 pause(模拟小段推理)
naive · 跟上游走
paced · rAF 节拍
等待两个流跑完,出指标…