套用 AI surface benchmark golden signals
Some checks failed
CD Pipeline / deploy (push) Has been cancelled

This commit is contained in:
ogt
2026-07-02 18:29:55 +08:00
parent c452ebd1c1
commit b69d173f18
6 changed files with 222 additions and 4 deletions

View File

@@ -71,6 +71,7 @@ Baymard 的商品頁與比較 UX 研究強調:使用者需要清楚的 product
- 證據按需: 產品畫面顯示「回讀、異動、留存、資料寫入」等營運語receipt、hash、artifact、DB table 名稱只留在 detailed readback 與 tests。
- Golden signals: AI automation 第一視窗至少要有四個核心訊號:已自動落地、已驗證、異動狀態、下一步。
- Dashboard-as-code: benchmark 結論必須進 tests`tests/test_pchome_dashboard_benchmark_guardrails.py` 是 PChome AI dashboard benchmark guard。
- Surface rollout: `/ai_intelligence``/observability/overview` 已套用相同 golden-signal guardrails`tests/test_ai_surface_benchmark_guardrails.py` 鎖住兩頁首屏的狀態分層、下一步優先與 evidence-on-demand 語言。
## 下一步 TODO 候選
@@ -78,7 +79,7 @@ Baymard 的商品頁與比較 UX 研究強調:使用者需要清楚的 product
2. 在覆核頁新增差異高亮:色號、香味、容量、入數、任選、效期、來源新鮮度。
3. 將 PPT / AI payload 的比價項目拆成 identity evidence 與 offer evidence。
4. 每週 benchmark 結果若命中上述 TODO回寫 `TODO_NEXT_STEPS.txt` 或新增 ADR / memory。
5. 將 PChome AI automation benchmark guardrails 套到 `/ai_intelligence``/observability/overview` 與後續 AI Agent surfaces
5. 將 PChome AI automation benchmark guardrails 套到後續 AI Agent surfaces 與每條 safe automation lane 的 first-viewport summary
## 參考來源

View File

@@ -159,6 +159,9 @@
下一步:
1. 將同一套 benchmark guardrails 套到 `/ai_intelligence``/observability/overview`
- 已完成: `/ai_intelligence``/observability/overview` 首屏都有 `AI 自動化狀態` golden-signal strip。
- 已完成: 兩頁都明確呈現「已自動落地、已驗證、異動狀態、下一步」。
- 已完成: `tests/test_ai_surface_benchmark_guardrails.py` 鎖住 DOM、下一步優先與 evidence-on-demand wording。
2. 為後續 safe automation lanes 建立同樣的 first-viewport summary。
完成標準:
@@ -235,6 +238,7 @@
| P3.3 | Rollback evidence packages | 已完成 | controlled apply rollback evidence route + focused tests | P3.4 observability metrics integration |
| P3.4 | Observability metrics integration | 已完成 | `/metrics` exports scheduled health summary gauges + focused tests | P4 source / deployment governance ongoing |
| P4.1 | Source / deployment / runtime truth package | 已完成 | `scripts/ops/report_source_deploy_runtime_truth.py` + focused tests | 每次 Gitea push / production deploy 後執行 P4 report |
| P2.2 | Benchmark guardrails applied to core AI surfaces | 已完成 | `/ai_intelligence` + `/observability/overview` golden-signal strips + focused tests | 後續 safe automation lanes 套同樣 first-viewport summary |
## 後續回報格式