#083 AI 部署與 MLOps
Evidently AI
Evidently AI 模型監控評估
★★★☆☆ 難度 3/5
開源模型監控與 LLM 品質評估的 MLOps 工具
工具介紹
Evidently AI 是廣受歡迎的開源 ML 監控框架，提供資料品質、資料漂移、模型效能衰退等各種評估報告，幫助團隊即時發現生產模型出現的問題。近年來 Evidently 大幅擴展對 LLM 評估的支援，提供幻覺偵測、回應相關性、毒性內容等評估指標，成為 LLMOps 的重要工具。平台提供 Python SDK 讓工程師輕鬆整合進現有 ML Pipeline，也提供視覺化儀表板讓非技術人員監控模型健康狀態。對於構建 RAG 或 LLM 應用的 AI PM，Evidently 的 LLM 評估指標能直接反映產品品質。
核心功能
- ✓ 資料漂移與模型效能衰退自動偵測
- ✓ LLM 輸出品質評估（幻覺、相關性、毒性）
- ✓ 互動式 HTML 報告與視覺化儀表板
- ✓ Python SDK 整合進 ML Pipeline
- ✓ 支援 Batch 評估與即時監控兩種模式
適用情境
- ● 監控生產 ML 模型，當資料分佈改變時自動告警
- ● 評估 RAG 系統的回應品質，追蹤 LLM 幻覺率
- ● 定期產出模型健康報告，確保 AI 產品品質穩定
- ● 比較模型更新前後的效能變化，決策是否上線新版本
#模型監控
#llmops
#開源