feat: configure audio providers and add local sample acceptance
This commit is contained in:
@@ -2,11 +2,11 @@
|
||||
|
||||
## 当前交付边界
|
||||
|
||||
源码在隔离工作副本 `/Users/long/.codex/worktrees/followup-audio/zyt`。原目录 `/Users/long/Work/zyt` 的已有源码保持不变；未提交、未推送、未迁移生产、未部署。入口默认关闭。
|
||||
源码在隔离工作副本 `/Users/long/.codex/worktrees/followup-audio/zyt`。原目录 `/Users/long/Work/zyt` 的已有源码保持不变；功能位于 `codex/followup-audio` 分支，初始提交 `70be2fc70`。未推送、未迁移生产、未部署。入口默认关闭。
|
||||
|
||||
已完成网页患者编辑入口、诊单绑定私有分片上传、独立持久异步任务、Dify原始音频传递、可编辑审阅草稿、显式人工确认、多表原子写入、同日真实记录明细、历史跟踪备注、来源审核轨迹及90天清理。
|
||||
|
||||
**真实模型门禁仍未通过**：本地 qwen/openai 探针都真实执行并返回 `CONFIG_MISSING`，没有上传录音、没有产生已知模型调用。只能说明隔离环境未配置，不能推断生产Dify是否支持。媒体测试中的完整一小时WAV→MP3、HTTP回环模型和浏览器合成数据不是实际Dify识别验收；混合口音需代表性脱敏样例。
|
||||
**真实模型门禁仍未通过**：9月29日本地 Dify 探针返回 `CONFIG_MISSING`；10月7日已按用户指定兼容接口发起合成音频检查，返回 `AUDIO_NOT_PROCESSED`，详见文末。不能把 HTTP 200、上传成功或文本能力当成音频识别成功。媒体测试中的完整一小时WAV→MP3、HTTP回环模型和浏览器合成数据不是实际Dify识别验收；混合口音需代表性脱敏样例。
|
||||
|
||||
## 使用与数据规则
|
||||
|
||||
@@ -23,7 +23,7 @@
|
||||
## 配置与运行前检查
|
||||
|
||||
1. 核对实际数据库字段/表前缀，先在线备份；经发布授权后应用 `server/sql/2026_09_29_followup_audio.sql`。SQL使用现有 `zyt_` 前缀，可重复执行；新增四表及血糖时间来源字段，不改旧数据。不得把测试库模拟schema当作生产已核验。
|
||||
2. 使用 `server/.env.followup-audio.example`，继续复用现有 `[prescription_ai]` base URL/profile凭据。不要把生产数据库凭据复制到本地测试环境，不要把API密钥放前端或提交Git。
|
||||
2. 使用 `server/.env.followup-audio.example` 配置明确的驱动、模型和凭据。`dify` 可复用现有 `[prescription_ai]` base URL/profile凭据；`openai_audio` 必须显式配置自己的地址、密钥和模型。不会自动切换协议/供应商或回退为纯文本。不要把生产数据库凭据复制到本地测试环境，不要把API密钥放前端或提交Git。
|
||||
3. PHP8.2已做本地验证；需要curl/fileinfo/openssl、可执行FFmpeg/FFprobe。Web/worker用户都必须可读写同一个私有录音目录，目录不能放在public或公开存储域名下。部署多节点需共享私有存储和稳定加密密钥（至少32字符，离线备份），不要依赖各节点自动生成不同runtime key。
|
||||
4. 反向代理/PHP单请求上限至少容纳2MiB分片及表单开销；不要将500MiB整个请求交给PHP上传。短期处理副本也要计入磁盘容量。
|
||||
5. Dify存储副本/缓存的保留与删除策略另行核验；本系统90天删除不代表Dify侧已删除。现实现没有通用Dify远端删除凭证或删除API，不能作此承诺。
|
||||
@@ -44,7 +44,7 @@ php think followup-audio:probe --synthetic --manifest /private/tmp/zyt-followup-
|
||||
|
||||
必须核实真实音频被读取、首尾事实和数值/否定/时间关系、未截断长录音，再用获准的代表性脱敏口音样例人工回听评估。上传成功、HTTP200或纯文本回复都不是通过。探针有状态文件：已通过的case复用；结果未知先核对原Dify任务/账单，禁止自动重发。不要删除未知状态来强制重试。
|
||||
|
||||
只有验证通过的profile可加入 `VERIFIED_PROFILES`；人工核验通过后才设置 `AUDIO_VERIFIED=true`，经授权发布后再设 `ENABLED=true`。默认 `timestamp_verified=false`，不把LLM编出的毫秒位置当成ASR对齐。
|
||||
只有验证通过的profile可加入 `VERIFIED_PROFILES`，且必须将本次报告的 `application_fingerprint` 写入对应 `QWEN_VERIFIED_FINGERPRINT` / `OPENAI_VERIFIED_FINGERPRINT`；人工核验通过后才设置 `AUDIO_VERIFIED=true`，经授权发布后再设 `ENABLED=true`。默认 `timestamp_verified=false`，不把LLM编出的毫秒位置当成ASR对齐。
|
||||
|
||||
## 独立消费者、清理与故障处理
|
||||
|
||||
@@ -87,3 +87,47 @@ node admin/scripts/verify-daily-records.cjs
|
||||
- 饮食早餐/午餐/晚餐提炼别名映射到实际`*_foods`字段，审阅读回、审计、现有日常表单编辑和提交保持一致，未选餐食及图片不清空；CSV合法值`0`不再被`empty()`抹去；医院诊断选项使用现有页面的三个静态枚举。
|
||||
- 补测通过30条规则、16条防守和5条跨层检查，以及真实隔离MySQL113项检查。9个模型语义案例仍标注NOT_VERIFIED；真实Dify最新探针仍CONFIG_MISSING。不得把这些本地测试描述为真实ASR、方言或一小时录音识别已通过。
|
||||
- 本次完整补测账本见工作副本`artifacts/followup-audio-implementation/extraction-acceptance-20260929.md`和`.json`，保留修复前结果、修复后结果及独立回滚证据。主四角色路径保持不变，本次记录追加到原验证记录。
|
||||
|
||||
|
||||
## 2026-10-07：真实样本、本地验收与可配置模型
|
||||
|
||||
### 本轮实际结果与边界
|
||||
|
||||
- 用户提供的4段MP3均可读取，长度分别约10分52秒、12分25秒、6分54秒、11分39秒。真实 Upload 服务完成分片、重复分片幂等、私有重组、全量 FFmpeg 解码；原始 SHA256 全部不变。验收用本地一次性 SQLite 和合成授权，不代表生产 HTTP/RBAC 验收。
|
||||
- 新的 opt-in `server/tests/FollowupAudioSampleAcceptanceTest.php` 读取 Git 外0600私有manifest；无参数安全跳过。4段录音与44个独立合成日期候选合计287项检查通过。模拟通话日期为2026-10-07、2026-03-01、2026-01-01、2024-03-01，覆盖普通日、跨月、跨年、闰年和模糊日期；这些候选不是从患者录音识别出来的内容。
|
||||
- 用户指定的兼容接口 `/models` 可访问。合成短音频按 `input_audio` 发给 `gpt-6.1-sol` 得到 HTTP200，但明确回复未收到可读取音频；`/audio/transcriptions` 请求返回404。新实现的原生能力探针再次以结构化输出契约执行，退出2、`AUDIO_NOT_PROCESSED`。未继续发送15分钟/一小时样本，没有发送4段真实患者录音，没有写入任何正式诊单。
|
||||
- HTTPS 实测证书与域名不匹配。没有关闭证书校验。HTTP只用于明确获准的合成检查，正式患者处理强制HTTPS，不能靠开启布尔配置绕过。
|
||||
- 上述结果说明目前所测入口/模型不能完成本功能的音频识别，不等于该服务所有未测模型均不支持。纯文本提炼不能替代语音转写。
|
||||
- 音频请求格式参考[OpenAI官方音频输入说明](https://developers.openai.com/api/docs/guides/audio-chat-completions)，实际服务能力以本轮请求证据为准。
|
||||
|
||||
### 模型配置（服务端环境变量，不在客服页面暴露凭据）
|
||||
|
||||
当前沿用 `qwen` / `openai` 两个稳定逻辑槽位；槽位不再决定固定品牌/模型，前端显示服务端配置的标签。示例：
|
||||
|
||||
```ini
|
||||
[followup_audio]
|
||||
ENABLED = false
|
||||
AUDIO_VERIFIED = false
|
||||
VERIFIED_PROFILES =
|
||||
PROFILE = openai
|
||||
OPENAI_DRIVER = openai_audio
|
||||
OPENAI_BASE_URL = https://HOST/v1
|
||||
OPENAI_API_KEY =
|
||||
OPENAI_MODEL = MODEL
|
||||
OPENAI_LABEL = 回访分析模型
|
||||
OPENAI_VERIFIED_FINGERPRINT =
|
||||
ALLOW_INSECURE_SYNTHETIC = false
|
||||
```
|
||||
|
||||
- API_KEY只通过部署环境或Git忽略的本地`.env`注入；本轮本地`.env`权限0600，未打包/提交。正式配置不要使用文档占位值。
|
||||
- `DRIVER=dify`选择Dify应用，内部使用哪个模型需在Dify端配置；本地MODEL字段不能改变Dify应用模型。`DRIVER=openai_audio`会将MODEL实际发送到Chat Completions，必须是该服务真正支持音频输入的模型。
|
||||
- 地址、密钥、driver、model任一变化都会使验证指纹失效；修改配置后重启消费者并重新验证。标签变化不改变提供方身份。不要保留旧指纹作为新模型的验收凭证。
|
||||
- 新任务将选择时的提供方指纹保存到现有`upstream_ids_json`，不增加数据库schema。消费者、心跳、checkpoint和完成均校验；旧任务缺少指纹或配置漂移不会静默改走新服务。已有结果不自动重分析，相同内容防重规则保持。
|
||||
- 探针状态保存为 `probe-<profile>-<fingerprint>.json`，旧身份报告保留。未知/已开始的同身份请求不自动重发；失败先核对已有请求ID及响应。不能删除报告来强制重试。
|
||||
- 需要先修复HTTPS并提供支持音频的模型/转写能力，然后完成短/中/长门禁，再对代表性真实录音人工回听、核对主体/否定/数值及时间。此步骤尚未完成，入口继续关闭。
|
||||
|
||||
### 本轮验证记录
|
||||
|
||||
ProviderConfig24、OpenAI音频传输47、Dify106、Media41、Probe14、隔离MySQL Core132、Worker20、Endpoint21、Access11、ProviderIntegration20均通过。音频传输单测采用受控响应/回环服务，不是外部ASR准确率；4个真实样本的287项检查只证明本地媒体与独立日期规则。网页未修改，38项录音组件测试回归通过。
|
||||
|
||||
完整证据在 `/Users/long/Work/zyt/artifacts/followup-audio-20260929/samples-20261007/`，主四角色路径沿用原交付；本地配置、真实音频和私有manifest都不纳入源码包。
|
||||
|
||||
Reference in New Issue
Block a user