指定前缀续写(Partial Mode)

2025-03-17   访问量:1008

在解答数学考试的应用题时,我们需要以“解:”开头,否则可能会扣除格式分。类似地,在某些场景中,您可能需要大模型基于特定前缀来续写内容。为了实现这一功能,您可以在使用通义千问 API 时开启 Partial Mode,这将使大模型能够从您提供的起始文本继续生成内容。

支持的模型

  • qwen-max 系列

    qwen-max、qwen-max-0125、qwen-max-0919、qwen-max-latest

  • qwen-plus 系列

    qwen-plus、qwen-plus-0125、qwen-plus-0112、qwen-plus-1220、qwen-plus-1127、qwen-plus-1125、qwen-plus-0919、qwen-plus-latest

  • qwen-turbo 系列

    qwen-turbo、qwen-turbo-1101、qwen-turbo-0919、qwen-turbo-latest

  • qwen-math 系列

    qwen-math-plus、qwen-math-plus-latest、qwen-math-plus-0919、qwen-math-turbo、qwen-math-turbo-latest、qwen-math-turbo-0919、qwen2.5-math-72b-instruct、qwen2.5-math-7b-instruct、qwen2.5-math-1.5b-instruct

  • qwen-coder 系列

    qwen-coder-plus、qwen-coder-plus-latest、qwen-coder-plus-2024-11-06、qwen-coder-turbo、qwen-coder-turbo-latest、qwen-coder-turbo-2024-09-19、qwen2.5-coder-32b-instruct、qwen2.5-coder-14b-instruct、qwen2.5-coder-7b-instruct、qwen2.5-coder-3b-instruct、qwen2.5-coder-1.5b-instruct、qwen2.5-coder-0.5b-instruct

  • qwen-开源系列

    qwen2.5-72b-instruct、qwen2.5-32b-instruct、qwen2.5-14b-instruct、qwen2.5-7b-instruct、qwen2.5-3b-instruct、qwen2.5-1.5b-instruct、qwen2.5-0.5b-instruct

开始使用

前提条件

您需要已 获取API Key并 配置API Key到环境变量。如果通过 OpenAI SDK 或 DashScope SDK 进行调用,需要安装SDK。如果您是子业务空间的成员,请确保超级管理员已为该业务空间进行 模型授权操作

使用方法

您需要在 messages 数组的最后一条 Assistant Message 中指定前缀内容,并设置 partial参数为true

一般来说,发出请求时的 messages 数组中的最后一条 Message 是 User Message;但 Partial Mode 最后一条 Message 需要是您指定了前缀信息的 Assistant Message。

OpenAI兼容

DashScope

Python

Node.js

curl

示例代码

 

import osfrom openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"), # 如果您没有配置环境变量,请在此处用您的API Key进行替换
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",  # 填写DashScope服务的base_url)
completion = client.chat.completions.create(
    model="qwen-plus",
    messages=[{        "role": "user",        "content": "请对“春天来了,大地”这句话进行续写,来表达春天的美好和作者的喜悦之情"
    },
    {        "role": "assistant",        "content": "春天来了,大地",        "partial": True
    }]
    )print(completion.choices[0].message.content)

返回结果

 

披上了一袭翠绿的新装,万物复苏,生机盎然。阳光温柔地洒在每一寸土地上,仿佛是大自然最温暖的拥抱。花儿争先恐后地绽放,红的、黄的、紫的……如同调色盘上最绚烂的颜色,点缀着这幅春日画卷。微风轻拂,带来阵阵花香与泥土的清新气息,令人心旷神怡。小溪边,柳树抽出嫩芽,随风摇曳生姿;田野里,农民伯伯开始忙碌起来,播下希望的种子。在这充满活力与美好的季节里,我感受到了生命的力量,心中充满了无限的喜悦与期待。

大模型返回的内容并不包含您指定的前缀内容,您需要手动将前缀内容与返回结果拼接。

错误码

如果模型调用失败并返回报错信息,请参见错误信息进行解决。


热门文章
更多>