fix(observability): restore durable SigNoz ingestion
This commit is contained in:
@@ -1,3 +1,27 @@
|
||||
## 2026-07-14 — P0-OBS-001 SigNoz OTLP 收集與持久佇列修復
|
||||
|
||||
**完成內容**:
|
||||
- 確認正式 SigNoz 已移至 `.110`;根因為 `setupCompleted=false` 且 OpAMP 因缺少 `orgId` 將 logs / metrics / traces pipeline 改為 `nop`,並非 `.188` 主機效能問題。
|
||||
- 以 `P0-OBS-001-20260714T191800+0800` 進行受控修復:`.110` 只重建 stateless `signoz-otel-collector`,改用已驗證的 static config;SigNoz UI、ClickHouse、Zookeeper 的 container ID 與啟動時間未變。
|
||||
- 新增 `.188:24318 -> .110:4318` 暫時相容橋接,僅允許 `.120/.121` 來源,具備 check / apply / status / rollback 與 `2026-08-15` 到期日。
|
||||
- K3s OTEL DaemonSet 新增 `file_storage`、filelog offset 持久化、exporter WAL、`queue_size=10000`、無限時 retry、60 秒 termination grace 與逐節點 rolling update。
|
||||
- 將現行 `0.96.0` image 由 K3s cache 直接匯入 Harbor,未對外下載;production 已 pin 至 `192.168.0.110:5000/awoooi/otel-collector-contrib@sha256:8edf386c...`。
|
||||
- 新增獨立 ingestion verifier,以同一 run 綁定 K3s queue、`.188` bridge、`.110` listener 與 ClickHouse exact-marker 讀回。
|
||||
|
||||
**已跑驗證**:
|
||||
- 精準 pytest:`7 passed`;三支 shell 的 `bash -n` 與 `git diff --check` 通過。
|
||||
- `kubectl apply --dry-run=server`、exact live digest `file_storage` canary、Harbor digest pull canary 全數通過;canary 顯示 `Extension started: file_storage`、`Initializing new persistent queue`、`Everything is ready`。
|
||||
- DaemonSet generation `4 -> 5` 完成逐節點 rollout;兩個 collector 均 `Ready`、`restarts=0`、queue capacity `10000`、queue size `0`。
|
||||
- Synthetic OTLP 從 `.120 -> .188:24318 -> .110:4318 -> signoz_logs.logs_v2` 回讀 exact count `1`;verifier terminal 為 `queue_zero_failure_deltas_zero_window_15s`,兩個 production collector 後續連續超過 11 分鐘 exporter error `0`、queue `0`、send-failed `0`。
|
||||
|
||||
**仍維持**:
|
||||
- `setupCompleted=false` 與 SigNoz organization 未初始化仍是治理缺口;static override 與 `.188` 橋接是可回滾、有到期日的暫時控制,不是 Foundry 遷移完成。
|
||||
- 本筆 LOGBOOK 建立時,Gitea normal push、CD terminal 與 main-to-runtime parity 尚待後續證據;不得由 live direct apply 倒推 source 已閉環。
|
||||
- 未讀取 secret、token、`.env`、raw sessions、SQLite 或 auth;未使用 GitHub / `gh`;未重啟主機、ClickHouse、Zookeeper、SigNoz UI,也未執行 restore、prune、force push 或防火牆變更。
|
||||
|
||||
**下一步**:
|
||||
- 將本輪 source 以 normal push 送入 Gitea main,分離追蹤 CD / deploy marker / production readback;在 bridge 到期前將 producer 與 NetworkPolicy 直接遷至 `.110:4318`,再以 replay / shadow / canary 遷移 SigNoz Foundry。
|
||||
|
||||
## 2026-07-09 — P0-006 AI log triage controlled auto-recovery package
|
||||
|
||||
**完成內容**:
|
||||
|
||||
@@ -7,6 +7,9 @@
|
||||
| **決策者** | 統帥 (ogt) |
|
||||
| **首席架構師** | Claude Code |
|
||||
| **相關 ADR** | ADR-035 (Telegram Alert), ADR-037 (監控增強), ADR-039 (Gitea CI/CD) |
|
||||
| **2026-07-14 執行期修正** | `superseded_by=global_product_governance_v2`;`.188` SigNoz 主機配置已取代 |
|
||||
| **負責範圍 / 到期日** | `platform-observability` / 暫時 `.188:24318` 橋接於 `2026-08-15 Asia/Taipei` 到期 |
|
||||
| **替代方案 / 驗證器** | 正式後端 `.110:4318`;`scripts/reboot-recovery/verify-signoz-otel-ingestion.sh` |
|
||||
|
||||
---
|
||||
|
||||
@@ -39,7 +42,8 @@
|
||||
```
|
||||
所有 Log/Event 來源
|
||||
→ OTEL Collector (DaemonSet, K3s 節點)
|
||||
→ 192.168.0.188:24318 (SigNoz OTEL Collector HTTP)
|
||||
→ 192.168.0.188:24318 (暫時性來源白名單相容橋接)
|
||||
→ 192.168.0.110:4318 (正式 SigNoz OTEL Collector HTTP)
|
||||
→ ClickHouse (統一儲存)
|
||||
→ SigNoz UI (統一查詢)
|
||||
|
||||
@@ -50,6 +54,9 @@ SigNoz OTEL Collector (Prometheus Receiver)
|
||||
|
||||
注意: 原計畫 Prometheus remote_write 因 SigNoz 不支援 Protobuf 格式而廢棄
|
||||
改用 OTEL Collector 內建 prometheus receiver 直接 scrape 關鍵指標
|
||||
|
||||
2026-07-14: `.188` 不再承載 SigNoz stateful runtime。相容 bridge 只允許 K3s
|
||||
`.120/.121` 來源,並必須在到期日前將所有產生端與 NetworkPolicy 改為直接 `.110`。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user