跳转到主要内容

概述

Zeus 支持灵活的模型配置,用户可以使用自有 API Key 接入任意 OpenAI 兼容模型,也可以使用 Zeus 预置模型。

配置来源

模型配置按以下优先级选择:用户自定义配置 > 请求参数 > 系统默认配置。

LLMManager

LLM 模型管理器负责创建模型实例。_init_model() 接收前端传递的 LLM 配置(包含 Base URL、API Key、模型名、温度等参数),创建 ChatOpenAI 实例。 首先检查是否存在用户自定义模型配置(包含自有 API Key 和 Base URL),如果没有则读取系统默认配置文件,根据 provider 选择对应的模型和密钥。支持任何 OpenAI 兼容 API(OpenAI、Anthropic via proxy、本地模型等)。

Model Profiles

系统内置 200+ 模型的上下文窗口配置,用于 SummarizationMiddleware 的触发阈值计算:
模型max_input_tokens摘要触发 (85%)
gpt-4o128,000108,800
claude-3.5-sonnet200,000170,000
gpt-4-turbo128,000108,800
默认64,00054,400
当模型不在预定义列表中时,使用默认配置。