超管后台
模型管理 界面截图

模型管理

路由: /models

模型管理页面供超级管理员配置和管理平台各功能模块使用的 AI 大语言模型(LLM)及相关 AI 服务,包括:AI 计划生成、AI 合规分析、AI 拜访简报、智能问答等功能背后的模型选型与参数调优。


功能说明

功能 说明
模型列表 展示平台已接入的所有 AI 模型及其状态
模型接入配置 配置模型 API Key、端点地址、调用参数
功能模块绑定 将不同业务功能绑定到指定模型
用量监控 查看各模型的 Token 消耗量和调用次数
费用统计 统计各模型的 API 调用费用
模型测试 在线测试模型输出效果
备用模型配置 配置主模型不可用时的自动切换备用模型

字段说明

模型配置

字段 说明
模型名称 如 GPT-4o、Claude-3.5-Sonnet、DeepSeek-V3 等
模型提供商 OpenAI / Anthropic / 阿里云 / 腾讯云 / 自部署 等
API 端点 模型 API 服务地址
API Key 调用凭证(加密存储,仅显示末4位)
最大 Token 数 单次调用允许的最大 Token 数量
温度参数 生成内容的随机性(0~1,越低越稳定)
超时时长 单次 API 调用的超时秒数
状态 启用 / 停用 / 测试中

功能模块绑定

功能模块 说明
AI 计划生成 推广计划智能生成功能使用的模型
AI 合规分析 存证合规评分和竞品分析使用的模型
AI 拜访简报 代表小程序拜访简报生成使用的模型
智能问答 知识库问答和代表提问使用的模型
AI 竞品分析 竞品洞察报告生成使用的模型
报告生成 推广报告 AI 解读使用的模型
OCR 识别 文档和照片 OCR 识别服务

操作步骤

接入新模型

  1. 进入 模型管理 页面(/models),点击「接入新模型」。
  2. 选择模型提供商。
  3. 填写 API 端点地址和 API Key。
  4. 配置基础参数(最大 Token 数、温度、超时时长)。
  5. 点击「连接测试」验证配置是否正确,确认可以正常调用。
  6. 测试通过后点击「保存并启用」,模型状态变为「已启用」。

绑定功能模块

  1. 在模型列表中选择已启用的目标模型,点击「功能绑定」。
  2. 在功能模块列表中,将目标业务功能(如「AI 计划生成」)的绑定模型切换为该模型。
  3. 点击「保存绑定」,该功能模块的 AI 调用立即切换到新模型。

配置备用模型

  1. 在模型详情页找到「备用模型」配置项。
  2. 从已启用的模型中选择备用模型。
  3. 设置切换条件:主模型连续失败次数(如 3 次)或响应超时(如 30 秒)时自动切换。
  4. 点击「保存」。

在线测试模型

  1. 在模型详情页点击「在线测试」标签。
  2. 在输入框中输入测试 Prompt(如「请帮我生成一份院内拜访推广方案摘要」)。
  3. 点击「发送」,查看模型输出结果。
  4. 可对比不同模型的输出效果,辅助选型决策。

查看用量与费用

  1. 切换到「用量统计」标签。
  2. 按时间范围查看各模型的:
    • 调用总次数、成功率、平均响应时长。
    • Token 消耗量(输入 Token / 输出 Token)。
    • 估算费用(基于各模型的单价配置)。
  3. 可按功能模块分组,查看各业务功能的 AI 成本占比。

注意事项

  • API Key 是敏感信息,系统加密存储,超管也只能看到末 4 位。如需重置 Key,直接填写新 Key 覆盖保存即可。
  • 切换功能模块绑定的模型会立即生效,建议在业务低峰期操作,并先在测试环境验证。
  • 不同模型在不同任务上效果差异较大,建议针对每个功能模块选择最适合的模型(如合规分析注重精准,适合较低温度值;创意写作适合较高温度值)。
  • 关注月度 Token 用量,避免超出 API 服务提供商的速率限制或预算上限。

FAQ

Q:平台支持接入自部署(私有化)大模型吗?
A:支持。只要提供兼容 OpenAI API 格式的端点地址和 API Key,即可接入自部署模型。在「模型提供商」选择「自部署/私有化」后填写对应端点即可。

Q:主模型故障时,用户会感知到服务中断吗?
A:如果配置了备用模型,主模型失败后系统自动切换,用户通常只会感知到响应略微变慢。如果主备模型都不可用,对应的 AI 功能会返回错误提示,但不影响其他非 AI 功能正常使用。

Q:如何降低 AI 调用费用?
A:建议:① 对简单任务(如关键词提取)使用轻量级低成本模型;② 适当降低最大 Token 数限制;③ 在用量统计中找出高消耗功能模块并评估是否过度调用。

Q:新接入的模型测试通过后,为什么功能模块的效果没有变化?
A:接入模型和绑定功能模块是两个独立步骤。接入成功后还需在「功能绑定」中将目标功能模块切换到新模型,才会实际生效。