流式输出

流式输出默认不会返回本次请求所使用的 Token 量。您可以通过设置stream_options参数为{"include_usage": True}，使最后一个返回的 chunk 包含本次请求所使用的 Token 量。

我们未来会将stream_options参数默认设置为{"include_usage": True}，这会使最后一个chunk的choices字段成为空列表，我们建议您参考本文的最新代码，在业务代码中加上if chunk.choices:的判断条件。

import osfrom openai import OpenAI

client = OpenAI(    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1")

completion = client.chat.completions.create(
    model="qwen-plus",  # 此处以qwen-plus为例，您可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你是谁？"}
    ],
    stream=True)

full_content = ""print("流式输出内容为：")for chunk in completion:    # 如果stream_options.include_usage为True，则最后一个chunk的choices字段为空列表，需要跳过（可以通过chunk.usage获取 Token 使用量）
    if chunk.choices:
        full_content += chunk.choices[0].delta.content        print(chunk.choices[0].delta.content)print(f"完整内容为：{full_content}")

返回结果

流式输出内容为：

我是来自
阿里
云
的大规模语言模型
，我叫通
义千问。

完整内容为：我是来自阿里云的大规模语言模型，我叫通义千问。