模型观测

2025-04-29   访问量:1004


在测试或评估模型时,您可能需要获取Token消耗、首Token延时等信息,以了解模型的使用情况和性能变化。通过模型观测,您可以获取这些数据,从而更有效地进行问题定位、故障排除和性能优化。本文介绍如何在控制台使用模型观测。

模型观测目前暂无API。如果您希望通过API获取Token消耗等信息,可以在每次调用模型时,从返回结果的usage字段提取本次调用的Token信息(目前不支持历史或汇总查询)。

应用场景

调用统计

支持查看模型在过去一段时间内的使用情况

性能指标

支持查看模型的多种常见性能指标

查看调用次数和调用量的趋势和波动

查看失败次数和失败率,及时发现异常

分析RPMTPM,作为未来容量规划的依据

查看调用时长和Token延时,跟踪模型的性能变化

image

image

支持的模型

模型观测支持模型列表中的所有模型,包括基于它们调优后的自定义模型

开始使用

前提条件

若您此前未开通模型调用服务,您需要先按照模型观测界面上的指引开通模型调用服务,才能使用模型观测功能。模型观测功能本身无需开通,也不支持关闭。

请使用主账号操作,开通后通常分钟级生效,但高峰期可能会稍有延迟。
如需使用RAM用户(子账号)开通,需主账号为该RAM用户配置AliyunBailianFullAccess系统策略

监控模式

模型观测提供两种监控模式:普通监控高级监控

普通监控作为基础服务提供,无需手动开启,也不支持关闭。
高级监控主账号需切换至目标业务空间,然后在模型观测界面手动开启或关闭。如需使用RAM用户,需主账号为该RAM用户配置必要权限
对比项普通监控高级监控数据延时小时级分钟级查看调用统计查看失败调用(详情)查看性能指标作用范围主账号下所有业务空间仅开启高级监控的业务空间是否计费否是

使用方法

开通模型调用服务后,系统将自动开始监测主账号所有业务空间下的模型调用。每次用户直接或间接请求模型时,系统会自动收集并同步相关数据至模型观测

若模型此前未在模型列表中,则将在数据同步完成后(普通监控的延迟一般为小时级,请耐心等待)自动加入到该列表中。
子业务空间成员只能查看当前空间的模型调用情况,不支持按业务空间筛选。

g642960l

当模型出现在列表中后,您可以单击其右侧操作列的监控,查看该模型在过去15天内的调用统计(如调用次数、消耗Token数等)和性能指标(如RPM、TPM、调用时长以及首Token延时等)明细,支持基于API-KEY推理类型,以及指定时间范围进行筛选。

列表中的记录基于模型的维度生成,统计结果包含了所选时间段内用户对该模型所有调用的相关指标。
基于API-KEY筛选:默认业务空间下可基于所有API-KEY筛选,子业务空间下仅支持当前业务空间的API-KEY筛选。其中,筛选项其他表示通过阿里云百炼控制台发起的模型调用(包括直接和间接调用)。

image

计费说明

  • 模型观测功能本身不收费。

  • 若启用高级监控,其产生的数据将存储在云监控CMS服务中,您需要支付相关费用。具体费用详情,请参见计费概述

附录

名词解释



名词

解释

实时推理

对模型所有直接和间接的调用,包括但不限于模型体验、阿里云百炼应用(智能体/工作流/智能体编排应用,以及每种涉及到模型调用的节点,如大模型节点工作流应用以及智能体群组节点等)的测试态和发布态、Assistant API应用调用Prompt反馈优化,以及通过API调用模型(通过OpenAI兼容接口或DashScope SDK调用)等。

批量推理

对于无需实时响应的业务场景,批量推理服务可以通过离线方式进行大规模数据处理。

常见问题

为什么我调用了模型,但是查不到调用次数和消耗Token数?



可能原因

说明

数据更新延迟

模型调用次数和消耗Token数等统计数据的更新存在延迟(普通监控为小时级,高级监控为分钟级),请耐心等待后再查询。

业务空间限制

如果您在默认业务空间中,您可以查看当前主账号下所有业务空间的调用统计明细;如果您在子业务空间(非默认业务空间)中,您只能查看该业务空间的调用统计明细。

我想使用RAM用户开启高级监控,应如何为该RAM用户配置权限?

  1. 主账号为RAM用户配置AliyunBailianFullAccess系统策略

  2. 主账号为RAM用户配置创建服务关联角色系统策略。

    1. 使用主账号登录RAM控制台,在左侧导航栏,选择权限管理 > 权限策略,然后单击页面上的创建权限策略

    2. 脚本编辑EffectActionResourceCondition中分别输入以下脚本中的对应内容后,单击确定

       

      {
          "Version": "1",
          "Statement": [
              {
                  "Action": "ram:CreateServiceLinkedRole",
                  "Resource": "*",
                  "Effect": "Allow"
              }
          ]
      }
    3. 输入权限策略名称CreateServiceLinkedRole后,单击确定

    4. 在左侧导航栏,选择身份管理 > 用户。从页面列表中找到待授权的子账号,然后单击子账号操作列的添加权限

    5. 权限策略列表中,选择刚创建的权限策略(CreateServiceLinkedRole),然后单击确认新增授权。至此,子账号拥有了创建服务关联角色的权限。

  3. 完成上述步骤12后,返回模型观测界面,使用RAM用户再尝试开启高级监控


热门文章
更多>