Files
kefu/deploy/knowledge-batch-20261007/RELEASE.md
T
2026-11-16 09:39:42 +08:00

3.5 KiB
Raw Blame History

knowledge-batch-20261007 上线记录

2026-10-07 15:20(CST)完成用户授权的发布(用户截图:90 万条数据整理出现「模型请求超时」→ "发,直接发到线上" 的授权延续到本次修复;内网模式)。

问题

第一次线上全量整理(全部账号 809,209 条单聊,doubao-seed-2.1-pro,4 路并发):

  • 读 8,200 条只切出约 120 段问答(约 1.5%),其中 92% 被模型判为没有价值;每段问答单独调用一次思考模型,几十秒一次,超过 90 秒即超时。
  • 一次超时就把该账号任务标为失败;批次里其他账号还在跑时界面没有「继续」入口。上线前已有 12 个账号任务因超时停下。
  • 速度约每分钟 250 条消息,全量要两天多。

内容

  • 整理请求关闭深度思考:火山方舟 / DeepSeek / doubao 模型直接请求并带 thinking: {"type": "disabled"};服务商不认这个参数(400 提到 thinking)时自动退回网关普通请求并记住。
  • 一次请求合并多段问答:整理批次默认 8 段(1–20 可调,旧版单账号任务仍一段一请求);输出被截断、缺项或输出上限被拒的段落单独重试。
  • 临时错误(超时、429、5xx、网络、熔断)不再让任务失败:保存进度、放回队列、退避 30 秒起每次翻倍(最多 10 分钟)自动重试,连续 6 次仍失败才停;超时的那一组改为逐段重试;点「继续」清掉退避。
  • 模型整理每步最多读 25 页(5000 条)凑够「并发 × 合并」所需的问答再调用。
  • 界面:高级设置增加「每次请求合并几段」;任务行显示每分钟速度和按目前平均速度预计还要多久;有账号出错而其他账号仍在跑时显示「继续出错的账号」;去掉不准的「预计调用次数」。
  • 后端 5 个文件(knowledge_api / store / worker / models / model_output),以线上(= knowledge-wash 载荷)为合并基准;差异见 payload-diff.txt。无数据库结构变化。
  • 前端:把本次改动的前端文件换回上一版后构建的结果与线上页面依赖图只差构建时间;换入口 index.html + 新增 11 个带哈希文件。
  • 03-deploy 切换后把批次里因「模型请求超时」失败的任务放回队列:12 个(requeued.json)。

结果

  • 当前镜像:zyt/wecom-admin:knowledge-batch-20261007 = current,sha256:632da68b2f5bd6156e807c617b44d082a7566ada96c7b379ce3e817e1e1e4994。
  • 本地:知识模块 89 项测试通过(新增合并请求、截断回退、退避重试与上限、超时逐段重试、多页读取、thinking 开关与回退、临时错误分类);前端类型检查与单元测试通过; 本地假模型端到端:1437 条消息、151 段问答用 24 次请求(以前 151 次)、4.3 秒完成,全部请求带 thinking=disabled,开头 2 次 503 自动恢复。
  • 候选镜像离线 114 项测试通过;部署后三个容器健康、文件哈希一致、容器内行为核对(合并 8 段、重试 6 次、25 页、thinking 开关)通过,知识条数无变化。
  • 线上实测(07:19:56 → 07:23:06 UTC):已读 11,995 → 25,195 条(约每分钟 4,200 条,之前约 250 条),62 次请求处理约 437 段问答(平均每次约 7 段), 新增草稿 19、模型筛掉 410、重复 8,无错误、无重试;按此速度剩余约 3 小时。

回滚

REMOTE_RELEASE_APPROVED=knowledge-batch-20261007 bash /home/ps/knowledge-batch-20261007/rollback.sh(回到 knowledge-wash-20261007 镜像;无数据库结构变化)。