feat(smoke): read sitewide visual qa artifacts
Some checks failed
CD Pipeline / deploy (push) Has been cancelled

This commit is contained in:
ogt
2026-07-03 07:42:39 +08:00
parent 00923184e5
commit 023ba0631f
12 changed files with 414 additions and 12 deletions

View File

@@ -111,6 +111,7 @@
- 2026-07-03 起高可見 AI surface HTML readback 必須納入 runtime AI smoke`/api/ai-automation/surface-html-readback` 會 read-only 檢查 10 個 AI observability template contract`/api/ai-automation/smoke` 需包含 `AI surface HTML readback` 檢查,`/api/ai-automation/scheduled-health-summary` 需輸出 `ai_surface_html_readback` family此檢查不得寫 DB、不得送通知、不得要求 browser失敗時下一個機器動作是 `repair_ai_surface_html_contract`
- 2026-07-03 起整站 UI/UX 專業化必須由 Sitewide UI/UX Agent 管理:`/api/ai-automation/sitewide-ui-ux-agent` 會掃描真正頁面模板、排除 partial/components/base layouts輸出高優先頁、compact guardrail、raw engineering issue 與 next machine action`/api/ai-automation/sitewide-ui-ux-repair-package` 會產生 no-write controlled repair package。當前 Agent 判定為 55 個頁面模板、31 個高優先模板、29 個已具 compact guardrail、0 個待專業化、0 個 raw engineering leakSitewide Agent 狀態為 `ok`repair package 為 `no_op`。四批 controlled UI/UX repair 已完成 AI observability、AI 建議、PPT/CI/CD/業績/比價/成長/供貨風險高優先 surface下一個機器動作為 `keep_sitewide_ui_ux_agent_monitoring`,後續只接受 Agent 新增 issue 或更高階 visual/mobile QA 的證據驅動修復。
- 2026-07-03 起 Sitewide UI/UX Agent 歸零狀態必須納入 AI automation runtime monitoring`/api/ai-automation/smoke` 需包含 `Sitewide UI/UX Agent readback` 檢查,要求 `issue_surface_count=0``repair_package_status=no_op``repair_action_count=0``/api/ai-automation/scheduled-health-summary` 需輸出 `sitewide_ui_ux_agent` family`/metrics` 需以 `momo_ai_automation_scheduled_health_family_status{family="sitewide_ui_ux_agent",...}` 暴露 scheduled family。此監控不得寫 DB、不得送通知、不得要求人工審核。
- 2026-07-03 起整站 desktop/tablet/mobile visual QA 必須進入 AI automation runtime monitoring`scripts/check_responsive_overflow.js --artifact-output data/ai_automation/sitewide_visual_qa_latest.json` 會輸出機器可讀 artifact`/api/ai-automation/sitewide-visual-qa-readback` 只讀該 artifact 並回報 route_count、viewport_count、failed_count、overflow_issue_count、stale 與 next_machine_action`/api/ai-automation/smoke` 需包含 `Sitewide visual QA readback``/api/ai-automation/scheduled-health-summary` 需輸出 `sitewide_visual_qa` family`/metrics` 需暴露 `momo_ai_automation_scheduled_health_family_status{family="sitewide_visual_qa",...}`。readback 不啟動 browser、不寫 DB、不送通知artifact 生成才需要 Playwright/瀏覽器。
- 2026-07-02 起 `/ai_intelligence` 商品明細與單品作戰詳情的四格價格證據必須可測PChome 價格、MOMO 參考價、差距、可信度需以 `data-evidence` 固定,並以 `aria-label="價格證據"` 對應可掃描區塊;候選待確認或缺資料只能顯示「候選待確認 / 待補」,不得捏造價格或讓使用者打開 raw payload 才知道判斷依據。
- 2026-07-02 起 `/ai_intelligence` 必須是密集 AI 工作台不得退回大段文字說明頁首屏與明細可見內容只保留短狀態、數字、四格證據與下一步按鈕KPI note、benchmark detail、alert 副句、策略說明、decision copy、來源長句與單品 reason list 不得佔用第一層視覺。`tests/test_ai_intelligence_text_density_guardrails.py` 必須鎖住 `data-density-guardrail="compact-ai-workbench"`、短任務文案、detail meta 與 hidden explanatory copy。
- 2026-07-02 起 `/observability/overview` 也必須採密集 AI 觀測工作台:首屏以 `data-density-guardrail="compact-observability-workbench"``AI 觀測 / 風險優先 / 下一步` 與 golden signals 先呈現狀態、數字與操作入口hero lede、signal note、route desc、host meta 與資料來源長句不得佔用第一層視覺。`tests/test_observability_text_density_guardrails.py` 必須鎖住 compact marker 與 hidden explanatory copy。

View File

@@ -84,6 +84,7 @@ Baymard 的商品頁與比較 UX 研究強調:使用者需要清楚的 product
- Route HTML readback rollout: high-visibility AI observability surfaces 已新增 Flask route-level rendered HTML guard`tests/test_admin_observability_routes.py::test_high_visibility_ai_surfaces_route_html_readback_keeps_compact_contract` 鎖住 10 個 route 的 compact density marker 與 non-raw engineering wording。
- Runtime HTML readback rollout: `/api/ai-automation/surface-html-readback` 與 AI smoke 已接入 high-visibility AI surface contract readback`tests/test_ai_automation_smoke_service.py` 鎖住 10 個 surface、退化偵測、smoke check 與 scheduled health family。
- Sitewide UI/UX Agent rollout: `/api/ai-automation/sitewide-ui-ux-agent` 掃描真正頁面模板並產生整站專業化 inventory`/api/ai-automation/sitewide-ui-ux-repair-package` 會輸出 no-write controlled repair package把主流產品頁原則轉成可排序、可驗證的修復項。四批 controlled repair 已把 AI 建議、PPT 預覽、服務更新監控、當日業績、商品/EDM 舊入口、成長報表、PChome 商品監控、比價決策台、業績作戰分析與供貨風險頁群納入 compact workbench guardrailsAgent 基線收斂到 29 個 compact guardrail / 0 個待專業化 surface。
- Sitewide visual QA rollout: `scripts/check_responsive_overflow.js --artifact-output data/ai_automation/sitewide_visual_qa_latest.json` 會把 desktop / tablet / mobile overflow QA 輸出為 artifact`/api/ai-automation/sitewide-visual-qa-readback``Sitewide visual QA readback``sitewide_visual_qa` scheduled family 會把最新視覺 QA 狀態納入 AI automation monitoring。
## 下一步 TODO 候選
@@ -103,6 +104,7 @@ Baymard 的商品頁與比較 UX 研究強調:使用者需要清楚的 product
- 已完成: `/observability/rag_queries` 首屏以「知識命中 / 省模閉環 / 回饋學習」短標籤與四個核心數字呈現 AI 知識召回狀態。
- 已完成: `/observability/promotion_review` 首屏以「AI 例外 / 去重守門 / 防污染」短標籤與四個核心數字呈現 AI 晉升例外狀態。
- 已完成: `/observability/ppt_audit_history` 首屏以「預覽就緒 / 視覺審核 / 修復閉環」短標籤呈現 AI 視覺 QA 產線狀態。
- 已完成: Sitewide visual QA artifact readback 會把 desktop / tablet / mobile overflow 結果接入 AI smoke、scheduled health summary 與 `/metrics`
## 參考來源

View File

@@ -179,9 +179,14 @@
- 此檢查不寫 DB、不發通知、不要求 browser失敗時 next machine action 是 `repair_ai_surface_html_contract`
- 整站 UI/UX Agent inventory 已完成:
- `/api/ai-automation/sitewide-ui-ux-agent` 會掃描真正頁面模板,排除 partial/components/base layouts。
- 當前基線: 55 個頁面模板、31 個高優先模板、14 個 compact guardrail、15 個待專業化、0 個 raw engineering leak。
- 當前基線: 55 個頁面模板、31 個高優先模板、29 個 compact guardrail、0 個待專業化 surface、0 個 raw engineering leak。
- `/api/ai-automation/sitewide-ui-ux-repair-package` 會產生 no-write controlled repair package優先修復高曝光頁且不寫 DB、不執行 shell、不讀 secrets。
- 第一批 controlled UI/UX repair 已套用到 `ai_history``ai_recommend`,整站 Agent 已回讀 issue count 從 17 降為 15
- 批 controlled UI/UX repair 已完成 AI observability、AI 建議、PPT/CI/CD/業績/比價/成長/供貨風險高優先 surface整站 repair package 目前為 `no_op`
- 整站 visual/mobile QA artifact readback 已完成:
- `scripts/check_responsive_overflow.js --artifact-output data/ai_automation/sitewide_visual_qa_latest.json` 會把 desktop / tablet / mobile overflow QA 輸出為 machine-readable artifact。
- `/api/ai-automation/sitewide-visual-qa-readback` 只讀 artifact回報 route_count、viewport_count、failed_count、overflow_issue_count、stale 與 next_machine_action。
- `/api/ai-automation/smoke` 已加入 `Sitewide visual QA readback`scheduled health summary 已加入 `sitewide_visual_qa` family`/metrics` 會輸出對應 Prometheus family status。
- readback 不寫 DB、不送通知、不啟動 browserartifact 生成才需要 Playwright/瀏覽器,避免把 visual QA 變成產品 API 的重型副作用。
已完成 / 下一步,必須照順序:
@@ -196,6 +201,8 @@
- 已完成: 高可見 AI surface readback 已接入 runtime smoke 與 scheduled health summary。
4. 啟動整站 UI/UX Agent將所有頁面依主流專業 guardrails 排序並產生 controlled repair package。
- 已完成: Sitewide UI/UX Agent inventory 與 repair package API。
5. 將 desktop / tablet / mobile visual QA 變成 AI automation artifact 與 runtime readback。
- 已完成: Sitewide visual QA artifact schema、readback API、AI smoke、scheduled family 與 metrics family。
完成標準:

View File

@@ -174,6 +174,7 @@
- 表格與圖表只允許在局部容器橫向滾動,不可造成整頁無限延伸。
- 2026-07-03 起以 Sitewide UI/UX Agent 排序全站專業化工作,不再靠人工逐頁猜測;目前 55 個頁面模板 / 31 個高優先頁中compact guardrail 已由 14 提升到 29待專業化 surface 由 15 降到 0。第四批已完成 vendor stockout 剩餘五頁repair package 進入 `no_op`,下一步轉為 production monitoring 與 desktop/mobile visual QA。
- 2026-07-03 起 Sitewide UI/UX Agent 已接入 AI automation smoke、scheduled health summary 與 `/metrics` family之後若整站 UI/UX 退化,主線入口是 `Sitewide UI/UX Agent readback` / `sitewide_ui_ux_agent` family而不是人工逐頁盤點。
- 2026-07-03 起 desktop/tablet/mobile visual QA artifact 也接入 AI automation`scripts/check_responsive_overflow.js --artifact-output data/ai_automation/sitewide_visual_qa_latest.json` 產生 Playwright overflow artifact`/api/ai-automation/sitewide-visual-qa-readback``Sitewide visual QA readback``sitewide_visual_qa` scheduled family 會讀取最新結果。後續若手機/桌面 overflow 或 artifact stale主線入口是重新跑 visual QA artifact 並修復 failed routes不再靠人工截圖逐頁判斷。
## 8. 效能與可觀測性