AI 用量監控
在同一頁掌握全站 AI 的用量與健康狀況：使用者以自己的金鑰經 AI API 發出的呼叫、平台內建 AI 功能（範本推薦、AI 導覽、Teacher Judge 等）的用量，以及 AI Gateway 與各模型的運行狀態。側欄：監控與日誌 → AI 用量監控。路徑：/ai-monitoring。
誰可以使用
只有管理員。其他身分的側欄不會出現這一頁。
開始之前
- 模型的運行狀態來自 AI Gateway（LiteLLM）。連不到閘道時，用量數字仍會載入，但運行狀態欄會是空的，系統狀態 也會列出問題。
- 在 Grafana 查看詳細 按鈕只有在啟用選用的監控 stack 時才會出現。
操作步驟
選擇時間範圍
- 用右上角的 近 7 天、近 30 天 或 近 90 天 切換。
- 摘要、趨勢圖與下方的呼叫明細會一起改變。
- 切換鈕旁的 最後更新 顯示資料最後一次載入的時間。頁面也會自動更新。
看懂摘要指標
- 呼叫次數：這段期間的呼叫總數。下方那行與前一個等長期間比較，以百分比表示。
- Tokens 總計：只計算目前選取期間用掉的 Tokens。
- 錯誤率：失敗呼叫所佔的比例。下方那行是與前一個期間相比的變化，單位是百分點（pp）；上升時以紅色標示。
看懂趨勢圖
- 在 呼叫與錯誤趨勢 選擇要畫的指標：呼叫量、Tokens、失敗呼叫、錯誤率 或 平均延遲。
- 把滑鼠停在圖上，可以看到該時段五項指標的完整數字。
近 7 天以小時為單位，近 30 天與近 90 天以天為單位。
處理系統狀態列出的問題
只有在有狀況需要處理時，趨勢圖旁才會出現 系統狀態，角落的數字是問題項目數。可能出現的項目：
| 項目 | 出現時機 | 點下去會打開 |
|---|---|---|
| AI 用量資料載入失敗 | 用量數字無法取得 | 金鑰 API 呼叫 |
| AI Gateway Readiness 異常 | 閘道無法使用，或還沒準備好接收請求 | 模型 |
<n> 個模型部署異常 | 有模型離線或部分異常（說明會分別列出數量） | 模型 |
錯誤率 <rate> | 錯誤率達 5% 以上，或比前一個期間上升超過 0.5 pp（達 10% 時列為嚴重） | 金鑰 API 呼叫，並篩選為 失敗 |
點任一項目會直接跳到下方對應的明細。
查看模型狀態
- 在 呼叫明細 打開 模型 分頁。
- 每一列顯示 模型、Runtime 狀態（線上、部分異常、離線 或 未知）、部署狀態（健康與異常的數量），以及這段期間的 呼叫次數、Tokens 總計、失敗率 與 平均延遲。
- 點有呼叫紀錄的模型名稱，會打開 金鑰 API 呼叫 並篩選出這個模型的呼叫。
只出現在過去用量、閘道已不認得的模型，Runtime 狀態與部署狀態會顯示「—」。
查看逐筆呼叫
- 打開 金鑰 API 呼叫 查看使用者以自己金鑰發出的呼叫，或打開 Template 呼叫 查看平台內建 AI 功能的呼叫。
- 在 金鑰 API 呼叫 可以選擇 全部、成功 或 失敗。
- 在搜尋框輸入使用者、模型、呼叫類型或 Request ID 來篩選。
- 每一列依序是 時間（附 Request ID 開頭）、使用者、模型（上游改用其他模型回覆時會顯示成「要求的模型 → 實際回覆的模型」）、類型、輸入 與 輸出 Tokens、耗時、首 Token（收到第一個 Token 所花的時間）、端到端輸出速度、Token 證據 與 狀態。
Token 證據 顯示 上游未回報 時，代表模型沒有回報用量：Tokens 記為 0，也不計算輸出速度。
找出用量最多的使用者
- 打開 使用者用量。
- 每一列把使用者的金鑰呼叫與內建 AI 呼叫加總：呼叫次數、Tokens 總計、平均延遲 與 失敗率。
- 可以用姓名或 Email 搜尋。
打開 Grafana 儀表板
按 在 Grafana 查看詳細，SkyLab AI 儀表板會在新分頁開啟，而且已經登入。
欄位與選項
| 項目 | 意義 | 說明 |
|---|---|---|
| 成功呼叫／失敗呼叫／活躍使用者 | 選取期間內的總數 | 顯示在明細分頁上方 |
| 明細分頁 | 模型、金鑰 API 呼叫、Template 呼叫、使用者用量 | 分頁上的數字是該分頁的筆數 |
| 狀態篩選 | 全部、成功、失敗 | 只在 金鑰 API 呼叫 出現 |
| 搜尋 | 篩選目前分頁的內容 | 提示文字依分頁不同 |
限制與注意事項
- 每個呼叫分頁只載入這段期間最新的 100 筆，使用者用量 只列出 Tokens 用量最多的 100 位使用者；搜尋也只在這些資料裡找。
- 切換明細分頁會清空搜尋框。
- 這一頁只負責收集與呈現資料，不會發送告警。