概述
Zeus 支持灵活的模型配置,用户可以使用自有 API Key 接入任意 OpenAI 兼容模型,也可以使用 Zeus 预置模型。配置来源
模型配置按以下优先级选择:用户自定义配置 > 请求参数 > 系统默认配置。LLMManager
LLM 模型管理器负责创建模型实例。_init_model() 接收前端传递的 LLM 配置(包含 Base URL、API Key、模型名、温度等参数),创建 ChatOpenAI 实例。
首先检查是否存在用户自定义模型配置(包含自有 API Key 和 Base URL),如果没有则读取系统默认配置文件,根据 provider 选择对应的模型和密钥。支持任何 OpenAI 兼容 API(OpenAI、Anthropic via proxy、本地模型等)。
Model Profiles
系统内置 200+ 模型的上下文窗口配置,用于SummarizationMiddleware 的触发阈值计算:
| 模型 | max_input_tokens | 摘要触发 (85%) |
|---|---|---|
| gpt-4o | 128,000 | 108,800 |
| claude-3.5-sonnet | 200,000 | 170,000 |
| gpt-4-turbo | 128,000 | 108,800 |
| 默认 | 64,000 | 54,400 |