异步 RAG 延迟拆解：从一次检索请求开始

异步 RAG 延迟拆解从一次检索请求开始RAG 慢的时候先别急着换向量库。一次请求会经过改写、检索、重排、拼接和生成任何一段排队都可能把尾延迟拉长。为每个阶段建立 span用同一请求标识记录阶段开始、结束、输入规模和取消原因。异步任务并发启动后也要能汇合不能因为一个分支超时留下后台任务。预算分配比统一超时更实用总超时拆给检索、重排和生成并为可选步骤设置降级。等待预算耗尽时返回可解释结果不继续无边界重试。记录候选文档数和上下文长度。连接池等待与远端耗时分开。客户端取消要向下游传播。复测使用同一请求分布按短问答、长文档和无结果查询分组查看 P95/P99。只优化平均值最慢的用户仍然会卡住。端到端延迟像一串排队窗口。把每段等待找出来再决定并行、缓存还是降级通常比盲调参数有效。