internal demo
流式输出按固定速率渲染
上游 token 节奏不可控:快的时候一帧塞多个 token,慢的时候几百毫秒不动。问题不是"接不住",而是"渲染节奏跟着上游一起抖"。 下面用 requestAnimationFrame 把渲染节奏拍成匀速, 同时跑一个 naive 消费做对比。
run #0 · 上游 2–5ms / token,偶发 30ms 长 pause(模拟小段推理)
naive · 跟上游走
…paced · rAF 节拍
…等待两个流跑完,出指标…
internal demo
上游 token 节奏不可控:快的时候一帧塞多个 token,慢的时候几百毫秒不动。问题不是"接不住",而是"渲染节奏跟着上游一起抖"。 下面用 requestAnimationFrame 把渲染节奏拍成匀速, 同时跑一个 naive 消费做对比。