fix(ai): remove 188 ollama provider
This commit is contained in:
@@ -13,15 +13,15 @@ Dashboard 路徑:`Ollama 容災監控`(uid: `ollama-failover-p23`)
|
||||
|
||||
### Panel 1 — Ollama 可用性 (Stat)
|
||||
|
||||
**看什麼**:`up{job=~"ollama_111|ollama_188"}` × 100,顯示每台 Ollama 主機的 scrape 存活狀態。
|
||||
**看什麼**:`up{job=~"ollama_gcp_a|ollama_gcp_b|ollama_local|ollama_111"}` × 100,顯示每個 Ollama provider endpoint 的 scrape 存活狀態。
|
||||
|
||||
| 顏色 | 意義 |
|
||||
|------|------|
|
||||
| 綠色 100% | Prometheus 探測正常,主機在線 |
|
||||
| 黃色 50% | 一台離線,另一台在線(容災中) |
|
||||
| 紅色 0% | 兩台全離線,高風險 |
|
||||
| 黃色 | 部分 endpoint 離線,系統應進入容災 |
|
||||
| 紅色 0% | Ollama provider pool 全離線,高風險 |
|
||||
|
||||
**注意**:此面板反映 Prometheus scrape 狀態,需要 scrape job 命名為 `ollama_111` / `ollama_188`。
|
||||
**注意**:此面板反映 Prometheus scrape 狀態,需要 scrape job 命名對齊 `ollama_gcp_a` / `ollama_gcp_b` / `ollama_local`。
|
||||
設定檔位於 `ops/monitoring/generated/prometheus-scrape-generated.yaml`。
|
||||
|
||||
---
|
||||
@@ -47,9 +47,10 @@ Dashboard 路徑:`Ollama 容災監控`(uid: `ollama-failover-p23`)
|
||||
|
||||
| 分布 | 意義 |
|
||||
|------|------|
|
||||
| ollama 佔 >90% | 正常,111 健康 |
|
||||
| gemini 佔多數 | 111 SLOW/DEGRADED/OFFLINE,容災中 |
|
||||
| ollama_188 出現 | Gemini 配額耗盡備援,或 111 和 Gemini 同時失敗 |
|
||||
| ollama / ollama_gcp_a 佔 >90% | 正常,GCP-A 健康 |
|
||||
| ollama_gcp_b 佔多數 | GCP-A SLOW/DEGRADED/OFFLINE,容災到 GCP-B |
|
||||
| ollama_local 出現 | GCP-A/B 均不可用,容災到 111 local |
|
||||
| gemini 佔多數 | Ollama provider pool 全部不可用,使用付費備援 |
|
||||
| 全部 nemotron/claude | 極端情況,所有主力 provider 失敗 |
|
||||
|
||||
---
|
||||
@@ -71,10 +72,10 @@ Dashboard 路徑:`Ollama 容災監控`(uid: `ollama-failover-p23`)
|
||||
|
||||
### `OllamaInstanceDown` — Ollama 主機離線
|
||||
|
||||
**觸發條件**:`up{job=~"ollama_111|ollama_188"} == 0` 持續 2 分鐘。
|
||||
**觸發條件**:`up{job=~"ollama_gcp_a|ollama_gcp_b|ollama_local|ollama_111"} == 0` 持續 2 分鐘。
|
||||
|
||||
**影響評估**:
|
||||
- 系統應已自動切至 Gemini(查 Panel 3 確認)
|
||||
- 系統應已依序切至 GCP-B / 111 local / Gemini(查 Panel 3 確認)
|
||||
- 查 Panel 4 是否有 Failover 計數上升
|
||||
|
||||
**排查步驟**:
|
||||
@@ -82,11 +83,9 @@ Dashboard 路徑:`Ollama 容災監控`(uid: `ollama-failover-p23`)
|
||||
```bash
|
||||
# 步驟 1:確認主機存活
|
||||
ping -c 3 192.168.0.111
|
||||
ping -c 3 192.168.0.188
|
||||
|
||||
# 步驟 2:SSH 進主機確認 ollama 服務狀態
|
||||
ssh wooo@192.168.0.111 'systemctl status ollama'
|
||||
ssh wooo@192.168.0.188 'systemctl status ollama'
|
||||
|
||||
# 步驟 3:查 ollama 最近的 journal log
|
||||
ssh wooo@192.168.0.111 'journalctl -u ollama -n 50 --no-pager'
|
||||
@@ -210,8 +209,9 @@ ssh wooo@192.168.0.111 'systemctl status ollama && nvidia-smi'
|
||||
|
||||
| Metric | 類型 | 狀態 | 說明 |
|
||||
|--------|------|------|------|
|
||||
| `up{job="ollama_111"}` | Gauge | ✅ 現有 | Prometheus scrape 存活 |
|
||||
| `up{job="ollama_188"}` | Gauge | ✅ 現有 | Prometheus scrape 存活 |
|
||||
| `up{job="ollama_gcp_a"}` | Gauge | ✅ 現有 | Prometheus scrape 存活 |
|
||||
| `up{job="ollama_gcp_b"}` | Gauge | ✅ 現有 | Prometheus scrape 存活 |
|
||||
| `up{job="ollama_local"}` | Gauge | ✅ 現有 | Prometheus scrape 存活 |
|
||||
| `ollama_failover_triggered_total` | Counter | ✅ P2.3 補入 | failover 切換次數,labels: from_provider, to_provider |
|
||||
| `ollama_recovery_triggered_total` | Counter | ✅ P2.3 補入 | recovery 切回次數,labels: from_provider |
|
||||
| `ollama_health_status{host}` | Gauge | ✅ P2.3 補入 | 健康狀態 1=healthy, 0=not_healthy |
|
||||
|
||||
Reference in New Issue
Block a user