awoooi/ops/alertmanager/alertmanager.yml

# AWOOOI Alertmanager 配置
# 2026-04-05 Claude Code: 修正 webhook URL
# 修正前: http://192.168.0.188:8088/api/v1/webhook/alertmanager (OpenClaw，舊系統，錯誤)
# 修正後: http://192.168.0.121:32334/api/v1/webhooks/alertmanager (AWOOOI API，複數，正確)
# 根據 feedback_alertmanager_awoooi_flow.md 鐵律
# 2026-04-09 Claude Sonnet 4.6 Asia/Taipei: 新增 Telegram Fallback (ADR-035)
# 架構: awoooi-webhook (主路徑) + telegram-direct (fallback，獨立路由)
# 當 AWOOOI API 無法回應時，critical 告警直接送 Telegram Bot API
# ⚠️  bot_token/chat_id 部署時由 secrets 替換，此檔為模板
#
# 2026-04-29 ogt + Claude Opus 4.7: P1-4 新版語法升級 + 因果抑制擴展
# 改動：
#   1. match/match_re → matchers (Alertmanager v0.27+ deprecated 警告)
#   2. source_match/target_match/target_match_re → source_matchers/target_matchers
#   3. group_by 加 team label（防 4 條 SLO 同秒爆，依 web-researcher 文件）
#   4. PostgreSQLDown / RedisDown inhibit 補 equal: ['instance']（防全 ns 爆炸抑制）
#   5. 新增 OllamaInstanceDown / KMConverterDown / SLO FastBurn 三組因果抑制
#      根因：本次 4 SLO 雪崩證實 Ollama 111 掛 → AI 推理鏈斷 → SLO 級聯爆炸無守門
#   6. 命名鐵律 feedback_telegram_alert_format.md 對齊（label team=ai/component/auto_repair）

global:
  resolve_timeout: 5m

route:
  receiver: 'awoooi-webhook'
  # 2026-04-29: 加 team — SLO/AI PrometheusRule 含 team=ai 時可獨立分組合併
  group_by: ['team', 'alertname', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers:
        - severity="critical"
      receiver: 'awoooi-webhook'
      group_wait: 10s
      # continue:true 讓 critical 同時送 telegram-direct (fallback)
      continue: true
    - matchers:
        - severity="critical"
      receiver: 'telegram-direct'
      group_wait: 10s
    - matchers:
        - severity="warning"
      receiver: 'awoooi-webhook'
    - matchers:
        - alertname=~"Zombie.*|Container.*"
      receiver: 'awoooi-webhook'
      group_wait: 1m

receivers:
  # 主路徑: AWOOOI API 處理所有告警 (AI 分析 + 去重 + Telegram)
  # 2026-04-16 ogt + Claude Sonnet 4.6: 改指向 VIP 192.168.0.125
  #   根因: 121:32334 Connection Refused，120:32334 也 Refused
  #   只有 VIP 125:32334 可連通（kube-proxy NodePort 路由正常）
  # ⚠️ SPF-1 風險：VIP 125 為單點，VIP host 整機 down → 主鏈斷
  #    緩解計畫見 critic SPF 治理設計（中度方案：webhook_configs 多 url round-robin）
  - name: 'awoooi-webhook'
    webhook_configs:
      - url: 'http://192.168.0.125:32334/api/v1/webhooks/alertmanager'
        send_resolved: true

  # Fallback 路徑: AWOOOI API 掛掉時，critical 告警直接送 Telegram
  # 只有 critical severity 走此路徑（避免 warning 雙重通知）
  # ⚠️ bot_token / chat_id 由 CD pipeline 在 deploy 時用 K8s Secret 注入
  #    feedback_telegram_secrets_injection.md 鐵律：禁止 PLACEHOLDER 上線
  - name: 'telegram-direct'
    telegram_configs:
      - bot_token: 'TELEGRAM_BOT_TOKEN_PLACEHOLDER'
        chat_id: TELEGRAM_CHAT_ID_PLACEHOLDER
        parse_mode: 'HTML'
        message: |
          🚨 <b>[Alertmanager Fallback]</b>
          {{ range .Alerts }}
          ├ <b>{{ .Labels.alertname }}</b>
          ├ 嚴重度: {{ .Labels.severity }}
          ├ 主機: {{ .Labels.host }}{{ .Labels.instance }}
          └ {{ .Annotations.summary }}
          {{ end }}
          <i>⚠️ AWOOOI API 可能離線，此為直接告警</i>
        send_resolved: false

inhibit_rules:
  # === 基礎因果抑制（原有規則，新語法重寫）===
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal: ['alertname', 'instance']

  - source_matchers:
      - alertname="HostDown"
    target_matchers:
      - alertname=~"HostHighCpuLoad|HostOutOfMemory|HostOutOfDiskSpace"
    equal: ['host']

  - source_matchers:
      - alertname="KubeNodeNotReady"
    target_matchers:
      - alertname=~"KubePodCrashLooping|KubePodNotReady|KubeDeploymentReplicasMismatch"
    equal: ['node']

  # 2026-04-29: 補 equal: ['instance'] — 原本缺，PG 在 instance A down
  # 不該抑制 instance B 的 HighConnections（爆炸抑制 bug）
  - source_matchers:
      - alertname="PostgreSQLDown"
    target_matchers:
      - alertname="PostgreSQLHighConnections"
    equal: ['instance']

  - source_matchers:
      - alertname="RedisDown"
    target_matchers:
      - alertname="RedisMemoryHigh"
    equal: ['instance']

  # === 新增：AI 鏈因果抑制（2026-04-29 ADR-035 因果抑制擴展）===
  # 根因：本次 4 SLO 雪崩證實 Ollama 111 掛 → AI 推理鏈斷 → 4 SLO 同秒爆
  #       無此抑制 → 假警報淹沒真警報（Ollama down 本身才是真信號）

  # Ollama 任一實例掛 → 抑制所有 AI/SLO 告警 30 分鐘
  - source_matchers:
      - alertname="OllamaInstanceDown"
    target_matchers:
      - alertname=~"SLO_.*|AI_.*"
    equal: []

  # KM converter 掛 → 抑制 KM Growth Rate SLO（避免 KM 寫入失敗本身觸發 SLO）
  - source_matchers:
      - alertname="KMConverterDown"
    target_matchers:
      - alertname=~"SLO_KMGrowthRate.*"
    equal: []

  # 同 SLO 較嚴重抑制較輕（FastBurn 抑制 Medium/Slow Burn）
  - source_matchers:
      - alertname=~"SLO_.+_FastBurn"
    target_matchers:
      - alertname=~"SLO_.+_(Medium|Slow)Burn"
    equal: ['alertname']