11 KiB
千问 / Dify runtime 窄查
2026-10-26。结论:先确认同一次合成 Dify 请求有没有到达模型 HTTP 接口,再按下表分流。 llm node_started 不是模型 POST 已发出的证明;现有证据支持千问本体可正常回答,继续保留千问。
本次只查官方公开源码与已知本地实现,没有访问私有服务、读取凭据/临床数据或更改配置。主代理已确认实际 provider 为内部兼容接口、模型 qwen3.6-35b、strict、仅非思考、temperature=0.2,其余 completion 参数关闭;直接服务默认参数也约 158ms 首 content、216ms 结束,而两种语言的短 Dify 请求仍 15 秒无正文。以下是源码支持的候选,不是已经确诊的部署故障。
最小区分表
| 同一合成请求的边界证据 | 下一步最小验证 | 解释 |
|---|---|---|
| 模型侧没有对应 POST | 只读查 plugin dispatch 当前停在 model/schema、llm/num_tokens 还是 llm/invoke;只取路径、开始/结束时刻和状态 |
优先前处理、token 计数、插件派发/容量、插件到模型连接;先不改 SSE delimiter |
llm/num_tokens 已进入、长期不返回 |
在该插件同版本 Python 环境做下面的禁网 tokenizer 检查,或只读看卡住线程栈 | 可以具体确认/排除 tokenizer 缓存下载或单线程池等待 |
| 模型已收到 POST,但该次本身没有快回 content | 从插件进程/网络环境做同样纯合成短请求对照,只比状态与时间 | 宿主直连成功不能代替插件运行环境;核对实际请求参数和连接,不再泛测病历 |
| 模型已快速返回 content,插件没有输出 chunk | 用安装版本 SDK 的 parser 对合成 SSE 字节做离线测试,核对 delimiter 实际字节与 wire 换行 | 定位 provider parser/过滤/缓冲 |
| 插件 chunk 已快速返回,Dify 没有 message | 只读对照 API→daemon 返回流与 answer 节点 selector | 定位插件返回链或 workflow 流路由;本地 PHP 过滤尚未收到 message,不能吞掉不存在的帧 |
只需一条有明确起止时间窗的合成请求,不需要患者数据。避免用服务全局 running/token 计数代替该请求的 HTTP 接收证据。
1. token 估算:有真实阻塞路径,但要先证实调用发生
官方 Dify 1.9.1 的 LLM 节点在执行模型前仍要取 context、模型 schema、memory、渲染 prompt。memory 路径会计算剩余 token,调用 get_llm_num_tokens;普通模型 invoke 之后才消费并转发 chunk。因此仅 node_started 不能排除请求前阻塞。这里使用固定 tag 作调用顺序参考,并未确认部署版本正好是 1.9.1。LLM node
计数在该版本还受 PLUGIN_BASED_TOKEN_COUNTING_ENABLED 条件控制;开启时走独立 plugin llm/num_tokens RPC。它与 schema、invoke 不是同一个调用。runtime 计数入口、plugin RPC
SDK 的兼容模型用 GPT-2 近似计数;gevent 环境下通过容量为 1 的线程池执行并等待结果。如果首次初始化卡住,同一池上的其他计数也可能等待。SDK AIModel
tiktoken 的 GPT-2 初始化依赖两份官方 BPE/encoder 文件;有效缓存会直接读取,缓存缺失或校验失败则读取网络资源。源码的 HTTP GET 没有显式 timeout,所以冷缓存 + 不通的公共下载路径是成立的候选。GPT-2 资源、缓存/下载
但不能笼统声称所有 LLM 请求都先下载 tokenizer:本次查到的 Dify 节点请求前计数与 memory 有关;SDK 普通生成路径在 POST 前没有无条件计数,usage 缺失时还会在流末尾补算。若完全没有 memory/前置计数,或已确认普通正文 chunk 在模型返回后被转发,那么“末尾 usage 补算阻塞”不能单独解释从头 message=0。 SDK invoke / 最终 usage
最小禁网检查:在插件相同 Python/包版本/缓存环境中新建诊断子进程,只编码 ping,在 import 后把 requests.get 临时替换为立即抛出固定异常的桩。有效缓存应快速计数成功;若触发下载桩,则只报告 cache miss 与资源种类,不打印环境变量全集或下载内容。测试结束即退出,不改插件文件。已有卡住进程则优先只读线程栈,查看是否停在 tiktoken.load、requests socket read 或线程池 result wait;“缓存缺失”仍需和当次 dispatch 停点对应才构成直接原因。
2. 插件队列/派发:与模型队列分属不同层
Dify 分别通过 daemon 请求 schema、num_tokens、invoke,invoke 的返回仍要经 API 的流读取。因此模型的 waiting=0 不证明插件没有排队、尚未进入 provider、或返回链没有等待。现有公开源足以证明边界分离,不足以确认这台部署的具体队列已满;不要仅根据 8 running 直接增 worker 或重启。plugin client、API 到 daemon 的流读取
最小观测只要同一时间窗的三段时间:API 发起 dispatch、插件 provider 进入、模型 HTTP POST 接收。若 dispatch 已发但 provider 未进入,查 daemon/runtime 的 worker 活跃数、等待任务和初始化;provider 已进入但 POST 未发,查 tokenizer/参数处理;POST 已返回而 daemon 无 chunk,查 parser/返回通道。无需抓请求体或鉴权 header。
3. SSE delimiter:字面 \n\n 本来就是默认形式
官方 provider schema 默认就是字面反斜线形式。SDK 在读取流前调用 unicode_escape 解码,所以 UI 显示 \n\n 不能据此判断分隔符配置错误。stream_mode_auth=use 在源码中用于凭据验证请求;正常模型调用的 stream 由 LLM 节点传入,不能把此开关当生成流是否开启的唯一证据。provider schema、SDK 验证与分帧
本机完全离线的标准解码对照:
| 输入字符的 hex | 解码 hex | 结果 |
|---|---|---|
5c6e5c6e |
0a0a |
正确的两个 LF |
5c5c6e5c5c6e |
5c6e5c6e |
多转义一层,仍是反斜线字符,无法匹配正常 SSE 空行 |
若模型已快回、插件却无 chunk,最小检查是读取该单一非秘密字段的长度/hex,并对合成 data 帧分别测试 LF/CRLF、结束标记、字节切片。不要直接改成实际换行碰碰运气。当前 SDK main 已增加换行归一化、comment/unknown field 兼容;旧版本 parser 可能不同,应先记录安装 SDK/插件版本,不能直接把 main 的修复当成部署已有行为。当前 parser、delimiter 解码与 chunk 输出
此轮取舍
默认 thinking 已有同期直接请求反证,不再作为优先根因;strict/only-non-thinking 与 128000 schema 上限也不能独立解释为何最短请求连首正文都没有。最有区分力的下一步是当次 POST 是否到模型及 dispatch 停在 schema/num_tokens/invoke 哪一步。若 POST 从未发出,优先验证 tokenizer 与插件派发;只有模型已经快回字节,才优先验证 delimiter/parser。
公开 main 与固定 Dify tag 的代码用于建立可证伪候选;部署的准确 Dify、插件与 SDK 版本尚未由本审查读取。GitHub API 一次只读索引请求因公共限额返回 403,随后全部依据官方 raw 源码完成;未使用非官方问题帖作为事实依据。
现场补充后的精确实验
主代理随后确认:LLM 记忆开启、窗口 62;服务端不发送 conversation_id,每次创建新会话,完整上下文已由服务端提交。这使 memory 路径的无必要前处理/独立 plugin RPC 成为值得优先隔离的候选。
建议按主代理计划,仅在同一未发布草稿的合成预览做 A(memory 开)→ B(memory 关),必要时 A 复验;模型、提示词、附件设置、输入、completion 参数和时间预算不变,每轮采用独立新预览会话并清理上一轮任务。不要用“发布应用 A”对比“草稿 B”,否则版本/调用入口也是变量。记录四项即可:LLM start、模型 POST 是否到达、首 content/message、终态/停止确认。
- A 一直不发模型 POST、B 快速成功、A 复现:支持 memory/其前置 RPC 路径;继续定位 dispatch/栈。
- A/B 都无 POST:memory 不是充分解释,转查 schema/daemon/provider 进入点。
- A/B 都有 POST但延迟不稳定:优先网络/插件到模型连接;不能把一次 B 成功算作 memory 因果。
精度提醒:memory 不等于一定下载 tiktoken。 参考 tag 的 _handle_memory_chat_mode() 首次计数传入空消息列表;SDK 对空列表可返回固定计数而不调用 GPT-2 编码。新会话又可能没有历史,所以即便 B 成功,也首先证明 memory/计数 RPC/历史读取这条路径有差异,不能直接命名为 tokenizer 下载故障。需要 tiktoken.load 栈、cache-miss 桩或明确的非空消息计数停点进一步证实。memory 预处理、SDK 消息计数、历史读取实现
主代理还报告,另一条带已存系统提示的合成直连在 TCP 连接阶段 3 秒 ConnectTimeout,尚未进入模型。它不能说明提示词导致模型推理慢,却确实说明存在间歇连接因素;之前约 0.2 秒的成功只证明那次路径健康。上述 A/B 应结合实际 POST 接收证据,避免把连接波动误归因于 memory。本审查没有执行此实验,也没有更改草稿或发布配置。