fix(ai): add 188 ollama retirement gate
All checks were successful
Code Review / ai-code-review (push) Successful in 10s
CD Pipeline / tests (push) Successful in 1m2s
CD Pipeline / build-and-deploy (push) Successful in 9m2s
CD Pipeline / post-deploy-checks (push) Successful in 1m15s

This commit is contained in:
Your Name
2026-05-06 14:55:21 +08:00
parent 033ac8129b
commit d441f70693
7 changed files with 203 additions and 16 deletions

View File

@@ -1,3 +1,20 @@
## 2026-05-06 | 188 legacy Ollama 退場 Gate 與 dev 路由修正
**背景**Telegram 告警已不再應出現 `RouterOLLAMA_188`;統帥要求 188 Ollama 移除,正式順序維持 GCP-A → GCP-B → 111 → Gemini 備援。
**本次修補**
- live `awoooi-dev` 原本仍設定 `OLLAMA_URL=http://192.168.0.188:11434`,已 patch 到 `110:11435/11436/11437` 並重啟 dev API。
- `k8s/awoooi-dev/02-configmap.yaml` 對齊正式 Ollama pool避免 dev 環境繼續污染 188 使用判斷。
- `k8s/monitoring/prometheus.yml` 移除 `192.168.0.188:11434` blackbox target`k3s-alerts-supplemental.yaml` 移除舊 `OllamaDown` 188 告警live Prometheus 已做精準 patch、`promtool check config` 通過並 SIGHUP reload。
- `apps/api/scripts/test_nemotron_tool_calling.py` 預設 Ollama endpoint 改為 `110:11435`
- 新增 `scripts/ops/ollama188-retirement-gate.sh``docs/runbooks/OLLAMA-188-RETIREMENT-GATE.md`,把停止/disable/uninstall 的條件明確化。
**驗證**
- `awoooi-dev` live env`OLLAMA_URL=110:11435``OLLAMA_SECONDARY_URL=110:11436``OLLAMA_FALLBACK_URL=110:11437`
- dev Pod 內三個 endpoint `/api/tags` 均 OK。
- 短窗口 Gate`POST_SINCE=25 minutes ago HEALTH_SINCE=2 minutes ago scripts/ops/ollama188-retirement-gate.sh` → failures=0。
- 24 小時 Gate仍看到 `192.168.0.88` 在 24 小時內送過 `/api/generate` / `/v1/chat/completions`,因此未釐清前不可解除安裝,只能先做零流量觀察。
## 2026-05-06 | Gitea CD SSH key path no longer expands to /root
**背景**`2c2bf9d6` 的 CD `build-and-deploy``Inject K8s Secrets` 失敗runner 先把 deploy key 寫到 `${HOME}/.ssh/deploy_key`,但 `ssh -i ~/.ssh/deploy_key` 由 OpenSSH 展開成 `/root/.ssh/deploy_key`,導致 `Permission denied`

View File

@@ -0,0 +1,50 @@
# 188 Legacy Ollama 退場 Gate
## 目的
`192.168.0.188:11434` 已不再是 AWOOOI / AwoooP 的 Ollama provider。正式順序是
1. GCP-A`192.168.0.110:11435`
2. GCP-B`192.168.0.110:11436`
3. Local 111`192.168.0.110:11437`
4. Gemini / Claude雲端備援不是主路徑
188 主機仍承載 PostgreSQL、Redis、SigNoz、OpenClaw 等服務,所以不能把「解除 188 Ollama」誤解成「動 188 主機」。退場只針對 `ollama.service``:11434`
## 退場前不變式
- repo runtime 不得再出現 `ollama_188``OLLAMA_188``Ollama188Provider``192.168.0.188:11434`
- `awoooi-prod``awoooi-dev` live env 不得指向 `192.168.0.188:11434`
- Prometheus live config 不得再探測 `192.168.0.188:11434`
- 188 的 Ollama journal 在觀察窗口內不得有 `/api/generate``/api/chat``/v1/chat/completions` 推理 POST。
- `192.168.0.121` 不得再固定對 188 `/api/tags` 做 dev health check。
## 檢查方式
```bash
scripts/ops/ollama188-retirement-gate.sh
```
可調整觀察窗口:
```bash
POST_SINCE="24 hours ago" HEALTH_SINCE="10 minutes ago" scripts/ops/ollama188-retirement-gate.sh
```
## 階段決策
| 階段 | 條件 | 動作 |
| --- | --- | --- |
| Observe | Gate 仍有 failures | 不停止服務,只繼續追來源 |
| Stop | Gate 連續 24 小時綠燈 | 可執行 `systemctl stop ollama`,保留 binary 與模型 |
| Disable | Stop 後 48 小時無回歸 | 可 `systemctl disable ollama` |
| Uninstall | Disable 後 7 天無回歸,且確認無其他專案依賴 | 才評估移除套件與模型資料 |
## 今日發現
- `awoooi-prod` provider registry 已沒有 `ollama_188`
- `awoooi-dev` 原本仍使用 `OLLAMA_URL=http://192.168.0.188:11434`,已 live patch 到 GCP-A/GCP-B/111 proxy。
- Prometheus 舊 blackbox target 已移除並 reload避免退役後誤報。
- 188 journal 中近期少量推理 POST 來源為 `192.168.0.88`,不是 K8s Pod此來源未釐清前不建議解除安裝。
- 2026-05-06 14:53 短窗口 Gate 綠燈repo、K8s env、Prometheus target、dev health check 均已避開 188。
- 24 小時 Gate 尚未綠燈:仍看得到 `192.168.0.88` 在 24 小時內送過推理 POST。