概览
Edgee 是什么？
Edgee 是一款 AI 网关，旨在优化和管理边缘的大语言模型 (LLM) 流量。其核心特色是边缘原生 Token 压缩技术，可在 Prompt 发送到 OpenAI 或 Anthropic 等提供商之前减小其体积，在不损失用户意图的情况下降低高达 50% 的成本。它提供了一个兼容 OpenAI 的统一 API，可访问 200 多个模型，并具备智能路由、故障转移、实时可观测性和成本治理功能。开发者可以用它按功能或团队跟踪支出、托管私有模型，并调用边缘工具以降低延迟并提高生产环境 AI 应用的可靠性。
主要功能
- Token 压缩（最高减少 50% 的 Prompt 体积）
- 兼容 OpenAI 且支持 200 多个模型的 API
- 智能路由、故障转移和重试机制
- 带有自定义标签和支出预警的成本治理
- 边缘原生可观测性（延迟、用量和错误跟踪）
- 私有模型托管和边缘工具
如何使用 Edgee？
开发者可以通过使用 Edgee 兼容 OpenAI 的 API 或适用于 TypeScript、Python、Go 和 Rust 的 SDK 进行集成。只需将现有的 LLM 提供商端点替换为 Edgee 网关，使用您的 API 密钥，并通过 edgee.send 方法调用模型即可。您还可以在请求元数据中直接配置路由策略和用于成本跟踪的标签。
替代工具
未找到替代工具
优点 & 缺点
暂无数据
使用场景
- 降低长上下文 RAG 流水线的 Token 成本
- 实现多供应商冗余以防止停机
- 使用元数据标签跟踪不同团队或功能的 AI 支出
- 在边缘运行小型模型进行请求分类或内容脱敏
用户评价
3.0
满分5分
3.0
暂无评价
成为第一个评价此工具的用户！