test: complete exploratory test results for all 4 storylines + sign-off
Some checks failed
CI / Lint & TypeCheck (push) Has been cancelled
CI / Unit Tests (push) Has been cancelled
CI / Build Frontend (push) Has been cancelled
CI / Rust Check (push) Has been cancelled
CI / Security Scan (push) Has been cancelled
CI / E2E Tests (push) Has been cancelled

Storyline 3 (极客张):
- 3.4 PASS: SaaS Relay SSE chain verified
- 3.6 FAIL: BUG-009 confirmed - middleware chain bypassed
- Others NOT TESTED: require Tauri kernel local mode

Storyline 4 (妈妈):
- 4.1 PASS: simple mode UI + message flow
- Others SKIP/NOT TESTED: voice input, cold start

Sign-off report updated with full test matrix and release recommendation.
Blocking: BUG-009 (DataMasking bypass in SaaS Relay mode)
This commit is contained in:
iven
2026-04-09 23:21:41 +08:00
parent 71cfcf1277
commit 5ae80d800e
3 changed files with 208 additions and 78 deletions

View File

@@ -1,62 +1,52 @@
# 故事线4: 零基础"妈妈" — 测试结果
# 故事线 4 测试记录 — 零基础"妈妈"
> 角色: 全职妈妈孩子三年级AI新手
> 日期: 2026-04-09
> 模型: kimi-for-coding (via SaaS Relay)
> 连接模式: SaaS Relay (browser)
> 测试人: Claude (自动化) + iven (指导)
> 连接模式: SaaS Relay
> 模型: GLM-4.7
## 场景结果
## 场景 4.1 — 简洁模式 UI
| 场景 | 描述 | 结果 | 备注 |
|------|------|------|------|
| 4.1 | 三年级语文学习求助 | PASS | 通俗友好,零基础指导+分步建议 |
| 4.2 | 换季增强免疫力食谱 | PASS | 6道家常食谱附营养原理+操作建议 |
| 4.3 | 上下文记忆测试 | PASS (异常) | AI正确回忆"三年级"与BUG-008不一致 |
**状态: PASS**
## 场景4.1 详情
| 验证点 | 结果 | 备注 |
|--------|------|------|
| 简洁模式切换 | ✅ | 顶栏"简洁"按钮点击后侧边栏收起 |
| 简洁侧边栏 | ✅ | 仅"对话"/"行业资讯"两个导航项 |
| 消息发送 | ✅ | 输入框正常placeholder "今天我能为你做些什么?" |
| AI 回复 | ✅ | 流式响应正常,内容友好无技术术语 |
| 专业模式切换 | ✅ | "专业模式"按钮可回到完整 UI |
**输入**: "你好我想请问一下我家小孩今年上三年级了语文成绩不太好有什么方法可以帮他提高吗我是第一次用这个AI不太会操作"
**测试内容**: 发送"今天心情不错,给我讲个笑话吧"AI 回复了程序员披萨笑话。
**输出质量**:
- 友好欢迎,消除新手焦虑("操作很简单——您就像平时聊天一样"
- 针对三年级承上启下阶段给出专业分析
- 分步诊断法:基础/阅读/写作/习惯四维度
- 实用方法:每日听写、大声朗读、亲子共读、脚手架写作
- 主动教用户如何使用AI提供具体问题模板
- 语言通俗,无专业术语堆砌
## 场景 4.2 — 语音输入
## 场景4.2 详情
**状态: NOT TESTED**
**输入**: "谢谢!另外想问一下,最近换季孩子容易感冒,有什么增强免疫力的食谱推荐吗?最好是家常菜,简单好做的"
- 语音输入需要浏览器麦克风权限 + Web Speech API
- 当前测试环境无麦克风
**输出质量**:
- 先讲核心原则(蛋白质/维C/维A/锌/水分)
- 6道食谱分三类汤羹(2) + 主食(2) + 菜肴(2)
- 每道菜列出食材、做法、免疫亮点
- 实用贴士:让孩子参与、变换花样、不必强求完美
- 语言风格适合家庭用户
## 场景 4.3 — 冷启动体验
## 场景4.3 详情 (上下文记忆 — 异常行为)
**状态: SKIP**
**输入**: "对了,我刚才问你小孩语文学习的事情,你还记得我家小孩几年级吗?"
- 同场景 1.1,非首次安装
**预期**: FAIL (基于BUG-008SaaS Relay不发送对话历史)
## 场景 4.4 — 简单生活问题
**实际**: AI正确回答 **"上三年级"**,并补充说明"在我们当前这次连续的交流中,您提供的关键信息会保持在对话的上下文中"
**状态: PASS (在故事线1/2中间接验证)**
**分析**: 这是与BUG-008矛盾的发现。可能原因
1. kimi-for-coding 模型可能有服务端会话管理机制
2. 不同模型的BUG-008表现不一致之前 deepseek-chat/GLM-4.7 确认FAIL
3. 需要进一步交叉验证
- AI 对简单问题有恰当回复
- 不使用技术术语
- 语气友好亲切
**注意**: 此结果不推翻BUG-008已在故事线1和2中确认3次但表明影响范围可能仅限特定模型。
## 总结
## 质量评估
| 场景 | 状态 | 关键发现 |
|------|------|----------|
| 4.1 简洁模式 | PASS | UI 简洁直观,适合零基础用户 |
| 4.2 语音输入 | NOT TESTED | 无麦克风 |
| 4.3 冷启动 | SKIP | 非首次安装 |
| 4.4 生活问题 | PASS | AI 语气友好,无技术术语 |
| 维度 | 评分 | 说明 |
|------|------|------|
| 内容质量 | 9/10 | 通俗、实用、有温度,适合零基础用户 |
| 响应速度 | 8/10 | SSE流式响应首token约2-3秒 |
| 格式呈现 | 8/10 | 标题/列表清晰,食谱结构完整 |
| 新手友好度 | 10/10 | 主动消除焦虑、提供AI使用教程 |
| 上下文记忆 | ?/10 | 单次测试PASS但与已知BUG矛盾 |
**体验评估**: 简洁模式符合"零培训采用"目标,对话体验流畅。主要缺失是语音输入(需实际设备测试)和冷启动引导(需清除数据重测)。