From 448b89e6821f9b8f92f0ba4b7473515d88598efa Mon Sep 17 00:00:00 2001 From: iven Date: Thu, 9 Apr 2026 22:56:25 +0800 Subject: [PATCH] test: complete storyline-1 results (1.5-1.8) + BUG-008 tracker update - 1.5 PASS: policy compliance check with 6-clause analysis + PPT outline - 1.6 PASS: BUG-008 fix verified, AI correctly references prior context - 1.7 PARTIAL: NlScheduleParser not triggered in SaaS Relay mode - 1.8 NOT TESTED: requires physical network disconnect --- .../2026-04-09-exploratory/bug-tracker.md | 2 +- .../storyline-1-xiaoli.md | 64 ++++++++++++++++++- 2 files changed, 64 insertions(+), 2 deletions(-) diff --git a/docs/test-results/2026-04-09-exploratory/bug-tracker.md b/docs/test-results/2026-04-09-exploratory/bug-tracker.md index 809b516..f234c6f 100644 --- a/docs/test-results/2026-04-09-exploratory/bug-tracker.md +++ b/docs/test-results/2026-04-09-exploratory/bug-tracker.md @@ -12,7 +12,7 @@ | BUG-005 | 启动 | P2 | OfflineStore 无模型配置时重连循环过于频繁 | KNOWN | 首次启动预期行为 | | BUG-006 | 启动 | P2 | WebMCP 注册失败 TypeError: Required member is undefined | KNOWN | 需 Chrome 146+ flag | | BUG-007 | Admin | P2 | Admin V2 authStore 测试 19 个失败 (113 passed) | OPEN | 测试代码与实现不同步 | -| BUG-008 | 场景1.6 | P1 | SaaS Relay 模式只发送当前消息，不发送对话历史 (无上下文记忆) | OPEN | saas-relay-client.ts:125 | +| BUG-008 | 场景1.6 | P1 | SaaS Relay 模式只发送当前消息，不发送对话历史 (无上下文记忆) | FIXED | 9442471 | ## BUG-001 详细 diff --git a/docs/test-results/2026-04-09-exploratory/storyline-1-xiaoli.md b/docs/test-results/2026-04-09-exploratory/storyline-1-xiaoli.md index b7ebc28..79278f2 100644 --- a/docs/test-results/2026-04-09-exploratory/storyline-1-xiaoli.md +++ b/docs/test-results/2026-04-09-exploratory/storyline-1-xiaoli.md @@ -47,16 +47,78 @@ - 当前环境无医院数据可供收集 - 标记为需人工测试 +## 场景 1.5 — 政策合规检查 + +**状态: PASS** + +| 验证点 | 结果 | 备注 | +|--------|------|------| +| ButlerRouter 分类 | ✅ | 关键词命中 policy 域，AI 以合规审查角色回应 | +| 逐条合规分析 | ✅ | 6条制度逐条分析，每条标注合规/不合规/需完善 | +| 法规引用 | ✅ | 引用5部法规：《医疗机构管理条例》《医疗质量管理办法》等 | +| 合规结论表格 | ✅ | 7维度评估矩阵（整体合规/审批流程/病历交接等） | +| PPT大纲生成 | ✅ | 8页完整PPT结构：标题/法规/合规矩阵/问题/建议/决策/计划 | + +**测试内容**: 输入住院患者转科管理制度文本，AI 生成合规修订版 + 逐项评估 + PPT大纲。 +**体验**: AI 主动补充了原制度缺失的知情同意、双向协商等条款，专业性高。 + +## 场景 1.6 — 痛点持久化与记忆召回 (BUG-008 验证) + +**状态: PASS** + +| 验证点 | 结果 | 备注 | +|--------|------|------| +| BUG-008 修复验证 | ✅ | AI 正确引用之前的合规分析内容 | +| 上下文连贯性 | ✅ | "刚才的制度"→AI准确引用"转入科室同意环节"问题 | +| 一句话总结 | ✅ | AI 提炼核心修改建议，符合上下文 | + +**测试内容**: 发送"刚才我让你检查的那份制度，你觉得最关键的是哪一条？"，AI 正确引用之前分析（修复 BUG-008 后对话历史已正确传递）。 + +## 场景 1.7 — 预约 NL Schedule Parser + +**状态: PARTIAL PASS** + +| 验证点 | 结果 | 备注 | +|--------|------|------| +| 时间理解 | ✅ | AI 理解"明天下午3点" | +| 定时触发 | ❌ | NlScheduleParser 未被自动触发 | +| 替代建议 | ✅ | AI 给出手机日历/飞书等替代方案 | + +**原因**: SaaS Relay 模式下，NL Schedule Parser 作为 Tauri kernel 本地能力无法被远程触发。需要通过 Tauri 本地模式测试完整功能。 +**边界探测**: 未测试（因核心功能未触发）。 + +## 场景 1.8 — 离线韧性 + +**状态: NOT TESTED (需人工)** + +- JS 模拟 `navigator.onLine = false` 无法完全模拟 SaaS health-check 断联 +- 离线检测依赖实际 HTTP 请求失败，非纯浏览器事件 +- 需要真正断网（禁用网卡/拔网线）才能测试完整离线队列+重连流程 +- 恢复在线后发送功能正常 + ## 发现的 Bug | Bug ID | 严重度 | 描述 | |--------|--------|------| | BUG-003 | P1 | saasStore.ts require() → await import() 模型同步修复 | | BUG-004 | P1 | Health check 池使用率公式错误 | -| BUG-008 | P1 | SaaS Relay 不发送对话历史（仅当前消息） | +| BUG-008 | P1 | SaaS Relay 不发送对话历史（已修复，commit 9442471） | ## 环境问题 - SaaS 旧进程残留连接需完全重启（taskkill + 新启动） - 连接池耗尽后 relay 请求 100% 失败 - Health check 误报 degraded（已修复公式） + +## 总结 + +| 场景 | 状态 | 关键发现 | +|------|------|----------| +| 1.1 冷启动 | SKIP | 非首次安装 | +| 1.2 首次对话 | PASS | Relay 完整链路工作正常 | +| 1.3 会议纪要 | PASS | 双模式UI + 格式化输出 | +| 1.4 Collector | NOT TESTED | 无数据源 | +| 1.5 政策合规 | PASS | 合规分析+PPT大纲+法规引用 | +| 1.6 记忆召回 | PASS | BUG-008 修复验证成功 | +| 1.7 定时提醒 | PARTIAL | SaaS模式下NlParser不触发 | +| 1.8 离线韧性 | NOT TESTED | 需真机断网测试 |