88 Commits

Author	SHA1	Message	Date
ogt	155ea47958	fix(agent): reconcile terminal incident read models	2026-07-11 19:56:29 +08:00
ogt	bd27d4e759	fix(agent): keep closure lanes moving safely	2026-07-11 16:48:21 +08:00
ogt	47ab6613dd	fix(agent): close verified alert lifecycle	2026-07-11 13:18:24 +08:00
ogt	a8077ca699	fix(iwooos): retry incomplete wazuh closure	2026-07-11 12:16:42 +08:00
ogt	0fe6bd3ba0	fix(agent): fail closed on incomplete Wazuh context	2026-07-11 11:57:38 +08:00
ogt	39f064ec3c	fix(agent): prioritize p0 ansible candidates	2026-07-11 11:26:27 +08:00
ogt	4a4b95e513	fix(iwooos): repair wazuh host trust and retry	2026-07-11 10:13:02 +08:00
ogt	93510c0703	feat(iwooos): run wazuh posture receipt chain	2026-07-11 09:29:52 +08:00
ogt	f453359e34	feat(ai): enforce single-writer automation router	2026-07-11 05:45:48 +08:00
ogt	17171e1027	fix(agent): stabilize runtime truth and DB boundary	2026-07-11 03:00:16 +08:00
ogt	7b08df3bdb	fix(agent): accept JSON null pre-decision evidence	2026-07-10 21:51:27 +08:00
ogt	ea4d78088f	fix(agent): cast evidence health for durable gate	2026-07-10 21:33:17 +08:00
ogt	d26bf5515a	fix(agent): require durable tenant evidence before apply	2026-07-10 21:12:00 +08:00
ogt	b72b6ee048	fix(agent): bind pre-decision evidence to runtime	2026-07-10 20:55:32 +08:00
ogt	78eade177d	feat(agent): persist failed retry terminal receipt	2026-07-10 19:53:55 +08:00
ogt	bb66db6e57	feat(agent): execute failed apply check-mode replay	2026-07-10 19:51:29 +08:00
Your Name	d7f56351f2	fix(recovery): reopen controlled automation after failclosed regression	2026-06-28 16:01:40 +08:00
Your Name	f791107938	fix(api): bound ansible backfill query cost	2026-06-27 14:10:17 +08:00
Your Name	7a1ad85d64	fix(api): backfill ansible apply repair receipts	2026-06-27 13:56:13 +08:00
Your Name	f88d89fc38	fix(api): backfill ansible repair candidates	2026-06-27 13:36:39 +08:00
Your Name	e0a86b6254	feat(agents): route high risk through controlled automation	2026-06-26 19:19:40 +08:00
Your Name	ee2cc2bfc3	fix(alerts): 收斂 Telegram 告警到 SRE 戰情室	2026-06-12 11:06:16 +08:00
Your Name	9886df8785	fix(ai): suppress sealed slo watchdog meta noise	2026-06-01 18:52:27 +08:00
Your Name	d610c7386e	fix(api): explain auto execute slo degradation	2026-06-01 17:45:13 +08:00
Your Name	9080ba3670	feat(awooop): run ansible check-mode evidence worker	2026-05-31 12:53:22 +08:00
Your Name	9e093a9525	fix(api): reconcile inactive stale incidents	2026-05-29 11:43:19 +08:00
Your Name	8342cfa460	fix(governance): stop km healthcheck requeue	2026-05-19 23:01:03 +08:00
Your Name	edf97ad8ca	feat(governance): process hermes km healthchecks	2026-05-19 22:32:55 +08:00
Your Name	1d285dd9d4	fix(api): suppress batch reconcile postmortems	2026-05-19 12:18:17 +08:00
Your Name	d0835a7be1	fix(api): reconcile completed stuck incidents	2026-05-19 11:45:15 +08:00
Your Name	ff30c61c4c	fix(rls): 收斂 API DB access context	2026-05-12 19:55:13 +08:00
Your Name	c1ac157aaf	fix(km): keep backfill reconciler loop alive	2026-05-06 17:03:22 +08:00
Your Name	4111ea4f9f	fix(ai): remove 188 ollama provider	2026-05-06 14:34:48 +08:00
Your Name	bf847ad045	fix(ai): stabilize GCP Ollama alert lane	2026-05-05 22:20:27 +08:00
Your Name	8e22110030	fix(governance): keep trust drift watchdog on governance agent	2026-05-05 14:00:13 +08:00
Your Name	aa4ccec429	fix(watchdog): ADR-092 B4 — 三層修復消除 META SYSTEM 重複告警 + Ollama 路由強化 ... 問題根因（debugger 全景徹查）： 1. Prod 仍跑舊版代碼（ec013f66 後的修法未部署 → 告警字串仍含舊格式） 2. replicas=2 時 Pod 間 grace period 不共享 → violation_codes 分歧 → 不同 SHA256 → dedup 失效 3. 新 Pod 啟動立即執行 _check_once() → rollout 時多發一波 4. W6 violation_codes 含動態 low_count → count 微變繞過 dedup 修復（A2/A3/W6/C1/C2）： - A2：run_ai_slo_watchdog_loop 加 90s leading sleep，避免 rollout 立即觸發 - A3：_grace_active() 改為 Redis cluster-shared（watchdog:cluster_grace, ex=1800s, nx=True） 消除 Pod 間 grace period 不一致；Redis 故障時 fallback 為 process-local monotonic - W6：violation_codes 移除動態 low_count，改為穩定 "W6:trust_drift" - C1：ollama_auto_recovery.py recovered_host 改動態 label（依 URL port 判斷 GCP-A/B/Local） - C2：ConfigMap OLLAMA_FALLBACK_URL 改走 110:11437 nginx proxy，三層容災統一架構 Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-05 10:31:53 +08:00
Your Name	10e665a540	fix(watchdog): 修復 META SYSTEM 重複告警 — violation_codes 穩定 dedup ... 根因：violations 字串含動態浮點數（mean_trust/low_ratio），每次微變 → SHA256 不同 → dedup 失效 修法：新增 violation_codes list（穩定 W-code 格式），dedup 計算只用 violation_codes violations 保持含動態值（顯示用），Telegram 通知照常顯示完整資訊 W-6 Trust Drift dedup key: W6:trust_drift:low_count={N}（不含浮點數） Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-05 00:06:38 +08:00
Your Name	ec013f662d	fix(watchdog): 修复 Trust Drift 重复告警 + 建立 GCP Ollama nginx proxy ... - ai_slo_watchdog_job: 改用 trust_drift_detector 纯统计 lib 避免与 governance_agent 每小时自检查重复触发 Telegram - infra/ansible: 建立 110 nginx proxy 转发到 GCP-A/B 端口 11435 -> 34.143.170.20:11434 (GCP-A) 端口 11436 -> 34.21.145.224:11434 (GCP-B) - docs/runbooks: DEPLOY-GCP-OLLAMA-PROXY.md 完整部署指南 - ops/nginx: 手动部署脚本供 110 直接执行 ADR-110 三层容灾启用前提：先部署 proxy，再改 ConfigMap	2026-05-04 23:12:35 +08:00
Your Name	45f6f17558	fix(watchdog): dedup hash 非確定性 bug — 改用 hashlib.sha256 + setnx atomic ... 根因：Python 內建 hash() 受 PYTHONHASHSEED 影響，每次 process 重啟值不同。 每次 kubectl rollout restart → 新 pod 算出不同 dedup_hash → 繞過 1h TTL → 洗版。 症狀：連續 rollout 4-5 次後，META SYSTEM 每分鐘一條狂發（19:39/40/41/42 截圖）。 修法： 1. hash() → hashlib.sha256(content.encode()).hexdigest()[:12]（跨 pod/重啟確定性） 2. redis.exists+setex → redis.set(nx=True) atomic setnx（防多 replica 並發多發） 2026-05-04 ogt Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-04 19:47:42 +08:00
Your Name	f6b698c873	fix(aiops): Critic 修復 — PromQL 注入防線 + flag=False escalation bug + 計數虛報 ... Bug 1 (drift.py): DRIFT_AUTO_ADOPT_ENABLED=false 時仍設 auto_block_reason → 導致 escalation 被觸發，把「停用」誤判為「阻擋事故」 修法: flag=False 不設 auto_block_reason，視為靜默停用 Bug 2 (coverage_evaluator_job.py): asset name/host/namespace/ip 直接 f-string 進 PromQL，無白名單驗證 → 髒資料可生成語意污染規則或讓 Prometheus reload 失敗 修法: 加 _safe_label_val 正規表達式白名單（^[a-zA-Z0-9._\-]+$）， 不合法直接 skip + debug log Bug 3 (coverage_evaluator_job.py): ON CONFLICT DO NOTHING 衝突時 created 仍 +1 → stats["rules_auto_created"] 計數虛高，Redis 冷卻被誤設 修法: 改用 INSERT ... RETURNING rule_name，fetchone() 確認實際插入才計數和設冷卻 附加: Redis RuntimeError 單獨 catch + log（不再靜默 pass） Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-04 14:31:53 +08:00
Your Name	72cd79ed8b	fix(aiops): Task2 drift auto-adopt 根因修復 + Task3 coverage gap 規則自動生成 ... Task 2 — Drift 自動採納修根因: 根因: _analyze_and_notify() 中 report 是 in-memory 物件， update_interpretation() 只更新 DB，不回寫 report.interpretation， 導致 auto_adopt_if_safe() 永遠看到 None → 觸發「尚無 Nemotron 意圖分析」 → Drift 自動採納 0 筆 修法: report.interpretation = interpretation（DB 寫入後立即回寫記憶體） 附加: DRIFT_AUTO_ADOPT_ENABLED flag（default=True，回滾: kubectl set env ...=false） Task 3 — Coverage Gap → AI 規則自動生成執行器: 根因: evaluate_once() 只分析 red 缺口，但無執行器將分析轉為實際規則 → alert_rule_catalog 的 ai_generated source 永遠為 0 條 修法: 新增 _auto_create_rules_for_uncovered_assets(run_id) · 查 auto_alerting=red 的 top 5 host/k8s_workload asset · 依 asset_type 生成範本化 PromQL rule（host→up, k8s→replicas_available） · UPSERT 進 alert_rule_catalog（source='ai_generated', review_status='pending_review'） · Redis 24h 冷卻防重複，Redis 不可用時降級繼續 附加: COVERAGE_AUTO_RULE_ENABLED flag（default=True，回滾: kubectl set env ...=false） Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-04 14:22:51 +08:00
Your Name	577250a678	fix(governance): 修反消音化 W-3/W-4 守衛 + Prometheus 補資料缺失告警 ... 【統帥怒訓 — 違反 feedback_full_chain_first_then_fix.md 鐵律】 前次 commit f1362fcc 用 skip 條件把告警吞掉，是消音化解法： - W-3：total_exec<10 永遠 skip → Redis 永遠空也不會告警 - W-4：playbooks total==0 永遠 skip → 表被清空也不會告警 - Prometheus NaN sentinel + 既有 < 0.1 規則疊加後沒任何路徑會告警 統帥怒訓「又把告警給消失了」「已經這樣做幾次了」。本 commit 救回告警可見性。 【修法 — 啟動 30 分鐘寬限 + 過期改打資料管線斷新告警】 - ai_slo_watchdog_job.py 新增模組層 _PROCESS_START 與 _grace_active() 守衛： - W-3a：metric 有資料 + rate<0.30 → 既有「飛輪成功率過低」 - W-3b：rate=None 且 uptime>30min → 新告警「飛輪資料管線無流量」 - W-4a：playbooks total>0 + approved=0 → 既有「自動修復鏈路斷裂」 - W-4b：playbooks total=0 且 uptime>30min → 新告警「Playbook 表初始化失敗」 - 3 份 Prometheus rule（k8s/monitoring/flywheel-alerts.yaml、 ops/monitoring/alerts.yml、ops/monitoring/alerts-unified.yml）新增 FlywheelExecutionRateMissing：absent() 或 NaN 持續 30 分鐘 → 告警， 與 watchdog W-3b 雙保險 【已加入 memory】 feedback_silencing_alerts_recurring_violation.md 鎖入紅線鐵律： 「fresh deploy / init guard 用 skip 吞告警 = 結構性失職，必須分流寬限期 + 過期改打資料管線斷新告警」 【驗證】 106 個治理相關 unit test 全過： test_trust_drift_watchdog / test_governance_agent / test_failover_alerter / test_check_trust_drift_commit_outside_context_poc / test_governance_remediation_dispatch / test_ai_governance_endpoints / test_governance_dispatcher 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-03 12:39:46 +08:00
Your Name	f1362fcc8d	fix(governance): 修治理告警 4 個 silent failure + Prom sentinel 連鎖 ... 【全景檢測：12-agent 並行掃描定位 4 大 bug 與 1 個 P0 連鎖回歸】 Bug 1（P0 silent failure）— governance_agent.check_trust_drift 原 `await db.commit()` 縮排錯在 async with 區塊外（8 空格 vs 12）， session 已 auto-commit 關閉，二次 commit 拋 InvalidRequestError 被吞， governance_trust_drift_auto_deprecated log 從不出現。修：commit/log 移回 with 內。 附 AST regression guard test 擋退化。 Bug 2 — flywheel_stats_service / W-3 fresh deploy 假告警 Redis 空時 total_exec=0 → rate=0.0 → watchdog `< 0.30` 立即觸發 「飛輪成功率 0%」假告警。修：total_exec < FLYWHEEL_MIN_SAMPLE(10) 回 None， watchdog 判 None 跳過 W-3。Prometheus sentinel 用 NaN（非 -1.0） 避免觸發 ops/monitoring/alerts.yml:775 等 3 份 prom rule 的 `< 0.1` 條件造成 2h 後假告警連鎖。前端 type 同步 number | null。 Bug 3 — failover_alerter dedup key 原 key 只看 event_type 不看 payload，trust_drift 4→25 IDs 變動全被 1h dedup 吞掉。修：dedup key 加 sha256(impact subdict)[:8]，event_type sanitize 防特殊字元污染 Redis key。 Bug 4 — ai_slo_watchdog_job W-4 evolver 全封存初始化誤報 原邏輯 approved==0 即告警，未排除「playbooks 表初始化中」場景。 修：_count_approved_playbooks 回 (approved, total)，total==0 → skip。 【執行結果】 - 39 個相關 unit test 全過（test_failover_alerter / test_governance_agent / test_trust_drift_watchdog / test_check_trust_drift_commit_outside_context_poc） - 6 個關鍵路徑實測：NaN sentinel / float 渲染 / hash 區分性 / dedup 同 impact 相同 hash / datetime 容錯 / 4 檔 py_compile 全過 【調度教訓 — 留作未來改進】 - 12-agent 並行調度時，vuln-verifier 與 fullstack-engineer 競態 導致 vuln-verifier 讀到已修代碼誤判 NOT REPRODUCIBLE。 未來：vuln-verifier 應在 fullstack 之前執行，或用 git show HEAD~1 對比修復前。 - fullstack-engineer 引入 P0 regression（f-string 內嵌 ternary 非法 format spec）， critic 抓到 + Prom sentinel 連鎖 — 證明 critic 審查必要不可省。 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-03 00:18:57 +08:00
Your Name	b710f3f38f	feat(governance): normalize AI治理告警輸出與元告警解析度	2026-05-02 23:49:59 +08:00
Your Name	dedb12085b	chore(governance,watchdog): enrich alerts and enable prometheus multiproc	2026-05-02 23:44:12 +08:00
Your Name	b3a0f0d766	fix(telegram): dedup by fingerprint + 24h TTL to stop repeat alerts ... Telegram 重複發告警鐵證（4 個 agent 真實數據）： - INC-6FE3BD (HostBackupFailed) 24h 內被推 15 次 - INC-FD6E21 (HostHighCpuLoad) 24h 內被推 6 次 - 06:44:18 同秒兩送 = pod 並發 race 根因： 1. `telegram_sent:{incident_id}` dedup key 綁 uuid4 隨機 INC ID， 同 fingerprint 換新 INC 完全不去重 2. dedup TTL=600s 比 incident_analysis_sweeper 重觸週期 1h、 alertmanager repeat_interval 4h 都短 → 每輪都過期通過 3. pod restart 走 _resend_unconfirmed_ready_tokens 用同一 incident_id key → 重啟必炸一波 修法（不消音、是「AI 認得這是同一事故」）： - decision_manager.py:207-225 dedup key 改 alertname+target fingerprint - decision_manager.py:573-578 TTL 600s → 86400s (蓋住 sweeper 1h × alertmanager 4h) - decision_manager.py:3189-3208 pod restart resend 路徑同步改 fingerprint - incident_analysis_sweeper.py:37-42 sweeper_done TTL 3600s → 86400s 預期：同症狀 24h 內最多發 1 張 decision card；resolved 後 line 220-226 status check 會 early return，不影響復發偵測。 Tests: 35 passed (test_telegram_adr050 + test_decision_manager_docker_prune_routing) Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-02 16:25:48 +08:00
Your Name	f154ac022e	feat(playbook): version generated playbooks	2026-04-30 23:59:39 +08:00
Your Name	6e04fe9c8a	feat(playbook): generate drafts with local llm	2026-04-30 23:04:58 +08:00
Your Name	61f5a6a419	fix(telegram): route alerts to SRE war room	2026-04-30 15:01:23 +08:00
Your Name	3668d49f2f	feat(flywheel): W2 三件 + KMWriter critic 修法（1635 tests 全綠） ... W2 (onboarder 4 週飛輪 80→90 路徑第二週) + critic PR review 5 個 critical/major 全部修完，default flag=false 安全無爆炸風險。 ## W2 三件 PR ### PR-R2 — AOL → catalog confidence EWMA 回灌（修飛輪斷鏈 C2） - 新檔 `apps/api/src/jobs/aol_to_catalog_writeback_job.py` - 邏輯：每小時掃 AOL 計算 EWMA confidence (alpha=0.3) 回灌 alert_rule_catalog - 失敗閾值 N=5 連續低成功率 → review_status='draft' - Hermes _fetch_noisy_rules SQL 加 OR review_status='draft' - ENABLE_AOL_WRITEBACK_JOB=false (default) - 8 個測試（mock path 修正：lazy import → patch src.db.base.get_db_context） ### PR-V1 — self_healing_validator 串接 (修飛輪斷鏈 C6) - 新檔 `apps/api/src/services/self_healing_validator.py`（純函數 assess_self_healing） - post_execution_verifier.py step 5 串接（feature flag gate） - evidence_snapshot.py 加 self_healing_score / self_healing_detail 欄位 - db/models.py + base.py ALTER IF NOT EXISTS - score < 0.5 → 觸發 rollback 提案 Telegram alert（不自動執行） - ENABLE_SELF_HEALING_VALIDATOR=false (default) - 7 個測試 ### PR-L1 — KM ↔ Playbook 雙向回路 (修飛輪斷鏈 C3+C4) - learning_service.py 三條新邏輯： 1. _write_playbook_evolution_km：promote/demote 寫 KM 演化條目 2. _check_and_mark_playbook_review：N=5 累積觸發 review_required 3. _demote_alert_rule_catalog_confidence：DEPRECATED → confidence×=0.5 - PlaybookRecord 加 review_required 欄位（schema migration via base.py） - ENABLE_KM_PLAYBOOK_FEEDBACK_LOOP=false (default) - KM_PLAYBOOK_REVIEW_THRESHOLD=5 可調 - 6 個測試 ## KMWriter Critic 5 個 Critical/Major 修復（之前 critic PR review 發現） 之前 push commit c5753e1c 已修，本 commit 補回 stash 中的對應檔案： - C1 km_writer.py:194 backfill 自打臉（已修：同步 await + DLQ） - C2 km_writer.py:391 KM_WRITE_AWAIT=false 路徑收緊 - M1 decision_manager.py:2178/2203 移除 _fire_and_forget - M2 incident_service.py:1099 自製 path 加 retry+DLQ - M3 km_writer.py:166 冪等聲明對齊（UPSERT + partial unique index） ## 驗證 - 1635 unit tests 全綠（+27 from 1608） - 與 fb0c72db (推翻 A2 Ollama primary) 共存無衝突 - 所有新 Job/Service default flag=false（不爆炸） ## 期望影響 飛輪斷鏈 C2 + C3 + C4 + C6 全修 飛輪自主化評分：65 → 85 預估（W2 完成後） 啟用順序（待 prod fb0c72db 驗證 OLLAMA primary 跑得起來後）： 1. ENABLE_AOL_WRITEBACK_JOB=true 2. ENABLE_KM_PLAYBOOK_FEEDBACK_LOOP=true 3. ENABLE_SELF_HEALING_VALIDATOR=true Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-04-29 19:44:04 +08:00