架构讲解：

大模型层：用于对接公有云或私有化部署的基础大模型，以及Embedding向量化模型。国内外商业或开源基础大模型还在持续快代，每个季度都会有能力更强、效果更好的大模型或新版本出来，如DeepSeek R1在2025年春节的火爆。平台默认支持公有云接口和私有化部署2种模型服务集成方式，内置60多种常见模型适配器，可以分钟级切换效果更好的基础大模型。

网关服务层：LLM Gateway 屏蔽不同 LLM 模型之间的差异，为上层应用提供业界标准的OpenAI 协议 API 接口（如chat completion、embedding、FunctionCall等），并提供权限、审计、监控、配额限流等管理能力。

资源管理层：LLM 资源管理提供了 AI 场景建设过程中用到的各种通用资源、工具的支持。包括Prompt 管理、知识库管理、工具管理、AI Agent 管理等。这样各个运维SaaS可以把提示词模板、运维知识文档，以及Agent插件托管到平台上，降低智能运维场景的开发成本，并能在一体化运维体系内打通复用，如通过多Agent协同，完成智能可观测场景的告警智能分析、根因定位、智能处置推荐等。

LLMOps 开发框架：LLM Agent Framework ，是一个 LLM 智能 Agent 应用开发框架，提供单 Agent 智能代理与基于 Graph 编排的多 Agent 智能协同能力，使用 Graph 组合 Agent, Chain, Retriever 等各类子组件，编排业务流程，解决复杂多变的业务问题，同时最大程度保留可复用性。运维智能体作为整个嘉为蓝鲸一体化运维体系的一部分，与一体化运维系统之间通过功能调用、数据和知识接入，形成有机互动，实现更为丰富的场景化应用。