基于异构机密计算实例构建安全大语言模型推理环境

1.下载模型

在模型正式上云部署之前，您需要先对模型进行加密，然后将其上传到云存储。解密模型的密钥将由远程证明服务控制的KMS（密钥管理服务）负责托管。请在本地或可信环境中执行模型的加密操作。以部署Qwen2.5-3B-Instruct大模型为例，基于本地环境Alibaba Cloud Linux 3.2104 LTS 64（可访问公网），提供如下指导。

说明

如果您已经拥有自己的模型，请跳过本章节，直接进入2.加密模型章节。

以使用modelscope工具下载Qwen2.5-3B-Instruct模型为例，在终端中执行如下命令下载模型。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

成功执行命令后，模型将被下载到~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/目录下。

2.加密模型

目前支持如下两种加密方式，本方案以Gocryptfs为例。

• Gocryptfs：基于AES256-GCM，符合开源Gocryptfs标准的加密模式。

• Sam：阿里云可信AI模型加密格式，保护模型机密性和License内容不被篡改和非法使用。

3.上传模型

您需要准备一个与即将部署的异构实例相同地域的OSS Bucket，并将加密模型上传到阿里云OSS对象存储，以便后续从异构实例拉取并部署。

以对象存储OSS为例，请参考控制台快速入门创建一个存储空间（Bucket）和一个名为qwen-encrypted的目录（例如oss://examplebucket/qwen-encrypted/），然后使用ossutil工具将加密模型上传到该目录（您也可以使用自己的方法上传加密模型），以供推理服务挂载。以Sam加密为例，密文模型上传后的结果如下图所示。若采用Gocryptfs加密方式，模型文件的密文文件名将全部变成加密后的乱码。

1.创建一台阿里云KMS实例作为密钥存储后端

1. 前往密钥管理服务控制台，在左侧导航栏选择资源 > 实例管理，然后在软件密钥管理页签创建并启动实例。在启动实例时，请选择与ACK集群相同的专有网络。具体操作，请参见购买和启用KMS实例。

   等待大约10分钟，即可启动完毕。

2. 实例启动完成后，在左侧导航栏选择资源 > 密钥管理，然后在密钥管理页面为该实例创建一个用户主密钥。具体操作，请参见步骤一：创建软件密钥。

3. 在左侧导航栏选择应用接入 > 接入点，然后在接入点页面为该实例创建应用接入点。其中作用域选择已创建的KMS实例。更多配置说明，请参见方式一：快速创建。

   应用接入点创建成功后，浏览器会自动下载ClientKey***.zip文件，该zip文件解压后包含：

• 应用身份凭证内容（ClientKeyContent）：文件名默认为clientKey_****.json。

• 凭证口令（ClientKeyPassword）：文件名默认为clientKey_****_Password.txt。

4. 在资源 > 实例管理页面，单击KMS实例名称，然后在基础信息区域，单击实例CA证书后的下载，导出KMS实例的公钥证书文件PrivateKmsCA_***.pem。

2.创建ACK服务集群并安装csi-provisioner组件

1. 前往创建集群页面，创建ACK Serverless集群，其中关键参数配置说明如下，更多配置说明，请参见创建集群。

1. 集群配置：配置以下参数，完成后单击下一步：组件配置。

   关键配置	描述
   专有网络	选择使用已有，并勾选为专有网络配置SNAT，否则无法拉取Trustee镜像。
   交换机	请确保在已有专有网络中创建至少两个虚拟交换机，否则无法暴露公网ALB。

2. 组件配置：配置以下参数，完成后单击下一步：确认配置。

   关键配置	描述
   服务发现	选择CoreNDS。
   Ingress	选择ALB Ingress，ALB云原生网关实例来源选择新建，并选择两个虚拟交换机。

3. 确认配置：确认配置信息和使用须知，然后单击创建集群。

2. 集群创建成功后，安装csi-provisioner（托管）组件。具体操作，请参见管理组件。

3.在ACK集群中部署Trustee远程证明服务

1. 首先通过公网或内网连接集群。具体操作，请参见连接集群。

2. 将已下载的KMS实例的应用身份凭证（clientKey_****.json）、凭证口令（clientKey_****_Password.txt）和CA证书（PrivateKmsCA_***.pem），上传到连接ACK Serverless集群的环境中，并执行以下命令部署Trustee远程证明服务，使用阿里云KMS作为密钥存储后端。

    

   # 安装插件helm plugin install https://github.com/AliyunContainerService/helm-acr
   
   helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
   helm repo updateexport DEPLOY_RELEASE_NAME=trusteeexport DEPLOY_NAMESPACE=defaultexport TRUSTEE_CHART_VERSION=1.0.0# 设置ACK集群所在的地域信息，比如cn-hangzhouexport REGION_ID=cn-hangzhou# 刚才导出的KMS实例相关信息 # 替换为您的KMS实例IDexport KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc# 替换为您的KMS实例应用身份凭证所在路径 export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json# 替换为您的KMS实例凭证口令所在路径 export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt# 替换为您的KMS实例CA证书所在路径export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
   
   helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
     --version ${TRUSTEE_CHART_VERSION} \
     --set regionId=${REGION_ID} \
     --set kbs.aliyunKms.enabled=true \
     --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
     --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
     --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
     --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
     --namespace ${DEPLOY_NAMESPACE}

   说明

   执行代码中第一条安装插件命令（helm plugin install...）可能需要较长时间。如果安装失败，可以先通过helm plugin uninstall cm-push命令卸载该插件，然后重新执行插件安装命令。

   返回结果示例为：

    

   NAME: trustee
   LAST DEPLOYED: Tue Feb 25 18:55:33 2025
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

3. 在连接ACK Serverless集群的环境中执行如下命令，来获取Trustee的访问地址。

    

   export TRUSTEE_URL=http://$(kubectl get AlbConfig alb -o jsonpath='{.status.loadBalancer.dnsname}')/${DEPLOY_RELEASE_NAME}echo ${TRUSTEE_URL}

   返回结果示例为http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/trustee。

4. 在连接ACK Serverless集群的环境中执行以下命令，测试Trustee服务的连通性。

    

   cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
   {
       "version":"0.1.0",
       "tee": "tdx",
       "extra-params": "foo"
   }
   EOF

   若Trustee服务运行状态正常，预期输出如下：

    

   {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4.创建凭据来存储模型解密密钥

Trustee托管的模型解密密钥实际上存储在KMS中，只有在远程证明服务验证目标环境后，密钥才能被访问。

前往密钥管理服务控制台，在左侧导航栏选择资源 > 凭据管理，然后在通用凭据页签，单击创建凭据。其中关键配置说明如下：

• 凭据名称：自定义凭据名称，用于索引该密钥，例如model-decryption-key。

• 设置凭据值：填写加密模型时使用的密钥。例如alibaba@1688，您的密钥以实际为准。

• 加密主密钥：选择上述步骤创建的主密钥。

1.配置异构实例对OSS的访问权限

在部署过程中，实例需要访问存储模型密文的OSS bucket，并访问Trustee获得模型解密密钥，因此需要配置实例对相关OSS和Trustee的访问权限。

1. 登录OSS管理控制台。

2. 单击Bucket 列表，然后单击目标Bucket名称。

3. 在左侧导航栏，选择权限控制 > Bucket 授权策略。

4. 在Bucket 授权策略页签，单击新增授权，在新增授权页面中，为异构机密计算实例的公网IP增加Bucket授权。

5. 单击确定。

2.配置实例对Trustee的访问权限

1. 前往阿里云ALB负载均衡控制台，创建访问控制策略组，并将访问Trustee权限的地址/地址段添加为IP条目。具体操作，请参见访问控制。

   其中，需要添加的地址或地址段如下：

• 部署异构服务时绑定的专有网络的公网IP地址。

• 推理客户端的出口IP地址。

• 使用如下命令获得集群上Trustee实例使用的ALB负载均衡实例ID。

   

  kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

  预期输出如下结果：

   

  alb-llcdzbw0qivhk0****

• 在阿里云ALB负载均衡控制台左侧导航栏，选择应用型负载均衡ALB > 实例，在集群所在地域下搜索上一步获得的ALB实例，并单击实例ID进入实例详情页面。然后在页面最下方实例属性区域，单击关闭配置修改保护。

• 切换到监听页面，单击目标监听实例访问控制列下的启用，并配置白名单为上述步骤创建的访问控制策略组。

1.准备配置文件

1. 远程连接异构实例，具体操作，请参见使用Workbench终端连接登录Linux实例（SSH）。

2. 运行如下命令，以打开~/cai.env配置文件。

    

   vi ~/cai.env

3. 按i键进入插入模式，将准备好的配置信息粘贴到配置文件中。

    

   # Trustee服务urlTRUSTEE_URL="http://alb-xxxxxxxxx.cn-beijing.alb.aliyuncsslb.com/xxxx/"# Trustee上配置的policy名称，用于模型密钥获取、多节点模型共享时的RA过程TRUSTEE_POLICY="default"# Trustee上配置的模型解密密钥对应的resource id，对应的在下面小节中填写解密密钥KBS URI时将写作kbs:///default/aliyun/model-decryption-key。这里对于凭据名称<凭据名称>，对应的KBS URI是kbs:///default/aliyun/<凭据名称>MODEL_KEY_ID="kbs:///default/aliyun/model-decryption-key"# 加密模式使用的加密方法，取值为"gocryptfs"或"sam"，默认值为"gocryptfs"MODEL_ENCRYPTION_METHOD="gocryptfs"# 存放在阿里云OSS上的模型密文路径，格式为"${bucket}:/${path}"MODEL_OSS_BUCKET_PATH="bucket_name:/path_of_model_ciphertext"# 存放模型密文的OSS URLMODEL_OSS_ENDPOINT="https://oss-cn-beijing-internal.aliyuncs.com"# 用于访问OSS bucket的access keyMODEL_OSS_ACCESS_KEY_ID="<oss access key id>"# 用于访问OSS bucket的access key secretMODEL_OSS_SECRET_ACCESS_KEY="<oss access key secret>"# 用于访问OSS bucket的session token，仅在通过STS凭据访问OSS时需要MODEL_OSS_SESSION_TOKEN=# 加入的模型P2P共享群组中节点的IP（可选。需指定群组中至少一个节点的IP，如不指定该项则或指定空值，表示禁用模型共享）# MODEL_SHARING_PEER="172.30.xxx.xxx 172.30.xxx.xxx"# 业务部署模型推理服务使用的端口号，该端口上的通信将被透明加密保护MODEL_SERVICE_PORT=8080# 解密后模型明文的挂载位置，模型推理服务可以从该路径加载模型MODEL_MOUNT_POINT=/tmp/model

4. 输入:wq并按下回车键，保存并退出编辑器。

2.部署推理服务

1.配置客户端环境对异构机密计算实例和Trustee的访问权限

本文中，客户端环境需通过异构机密计算实例的公网IP来访问实例中部署的推理服务，因此必须为异构机密计算实例所在的安全组添加客户端的放行规则，以允许客户端环境访问异构机密计算实例。同时，在与服务端建立安全信道的过程中，需依赖Trustee对异构机密计算实例进行远程证明。因此，还需在Trustee的访问控制中添加客户端环境的公网IP地址。具体操作如下。

1. 为异构机密计算实例所属安全组添加客户端的放行规则。具体操作，请参见管理安全组规则。

2. 在Trustee的访问控制中添加客户端环境的公网IP地址。

   因为在步骤四：配置异构实例对OSS和Trustee的访问权限中已经创建了访问控制策略组并加入了白名单，所以此时不需要新建访问控制策略组，只需将客户端公网IP加入访问控制策略组中即可。

2.为客户端实例部署可信网关客户端

可信网关 (Trusted Network Gateway，TNG) 是针对机密计算场景设计的网络组件。它可作为一个守护进程，负责建立安全通信信道，对进出机密实例的网络流量请求进行透明加解密，实现端到端的数据安全。此外，它允许您在无需修改已有应用程序的同时，根据自己的需求灵活地控制流量的加密和解密过程。

1. 使用Workbench终端连接登录Linux实例（SSH）。

2. 部署可信网关客户端。

   通过docker部署

   通过二进制文件部署

1. 在客户端实例中安装Docker，具体操作，请参见安装Docker。

2. 运行如下命令，使用Docker部署可信网关客户端。

   重要

   注意：用户需要根据前面部署的Trustee服务，对应修改as_addr字段的值为${trsutee_url}/as/。

    

   docker run --rm \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.1 \
       tng launch --config-content '
           {
               "add_ingress": [
                   {
                       "http_proxy": {
                           "proxy_listen": {
                               "host": "127.0.0.1",
                               "port": 41000
                           }
                       },
                       "verify": {
                           "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                           "policy_ids": [
                               "default"
                           ]
                       }
                   }
               ]
           }
       '

3.为客户端实例上的进程配置HTTP代理服务

部署成功后，可信网关客户端将保持在前台运行，并在 127.0.0.1:41000 上创建了一个基于HTTP CONNECT协议的HTTP代理服务。将应用程序接入该代理，流量将被可信网关客户端加密处理并通过可信信道发送给vLLM服务。

您可以通过如下两种方式为客户端实例上的进程配置HTTP代理服务。

export http_proxy=http://127.0.0.1:41000
export https_proxy=http://127.0.0.1:41000
export ftp_proxy=http://127.0.0.1:41000
export rsync_proxy=http://127.0.0.1:41000

4.通过客户端实例访问推理服务

通过在客户端环境中运行curl命令访问异构机密计算实例中的推理服务。

1. 为客户端实例重新打开一个终端窗口。

2. 运行如下命令，访问推理服务。

   说明

    

   env all_proxy='http://127.0.0.1:41000/' \
       curl http://<异构机密计算实例公网IP>:8080/v1/completions \
           -X POST \
           -H "Content-Type: application/json" \
           -d '{"model": "/tmp/model", "prompt": "Do you know the book Traction by Gino Wickman", "temperature": 0.0, "best_of": 1, "max_tokens": 132, "stream": false}'

   回显结果示例如下，表示客户端通过curl命令发出的请求能够被可信网关客户端加密，再通过安全信道发送。最终成功访问异构中部署的大模型服务。

   

• 您需要将下述命令中的<异构机密计算实例公网IP>替换为步骤三：创建异构机密计算实例中创建的异构机密计算实例公网IP。

• 下述命令在执行curl命令之前设置了环境变量all_proxy='http://127.0.0.1:41000/'，从而使得curl命令发出的请求能够通过可信网关客户端进行加密，并通过安全信道发送。