概覽
Edgee 是什麼？
Edgee 是一款 AI 網關，旨在優化和管理邊緣的 LLM 流量。其突出的功能是邊緣原生令牌壓縮，可以在提示到達 OpenAI 或 Anthropic 等提供者之前減少提示的大小，從而在不失去用戶意圖的情況下將成本削減高達 50%。它提供了一個與 OpenAI 相容的 API 來存取 200 多個模型，提供智慧路由、回退、即時可觀察性和成本治理。開發人員可以使用它來追蹤功能或團隊的支出、託管私有模型並呼叫邊緣工具來降低生產人工智慧應用程式的延遲並提高可靠性。
標籤
主要功能
- 令牌壓縮（將提示大小減少多達 50%）
- 適用於 200 多個模型的 OpenAI 相容 API
- 智慧路由、回退和重試
- 透過自訂標籤和支出警報進行成本管理
- 邊緣原生可觀察性（延遲、使用情況和錯誤追蹤）
- 私人模型託管和邊緣工具
如何使用 Edgee？
開發人員可以使用與 OpenAI 相容的 API 或適用於 TypeScript、Python、Go 和 Rust 的 SDK 來整合 Edgee。只需將現有的 LLM 提供者端點替換為 Edgee 的網關，使用您的 API 金鑰，並透過 edgee.send 方法呼叫模型即可。您也可以直接在請求元資料中設定路由策略和標籤以進行成本追蹤。
替代工具
未找到替代工具
優點 & 缺點
暫無資料
使用場景
- 降低長上下文 RAG 管道的代幣成本
- 實施多提供者冗餘以防止停機
- 使用元數據標籤追蹤不同團隊或功能之間的人工智慧支出
- 在邊緣運行小型模型以進行請求分類或編輯
用戶評價
3.0
滿分5分
3.0
暫無評價
成為第一個評價此工具的使用者！