使用TensorRT-LLM构建模型的推理环境
在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。
2025-06-25
浏览:1000+
使用eRDMA容器镜像快速配置eRDMA提升网络性能
eRDMA（Elastic Remote Direct Memory Access）是一种高性能网络通信技术，将eRDMA功能引入容器（Docker）环境可以实现容器应用程序绕过操作系统内核直接访问主机的物理eRDMA设备，从而提供更快的数据传输和通信效率，适用于在容器中需要大规模数据传输和高性能网络通信的应用场景。本文介绍如何使用eRDMA镜像在GPU实例上快
2025-06-25
浏览:1000+
使用FastGPU一键部署并训练应用或任务
在开发者实验室中，阿里云为您提供了使用FastGPU进行一键部署并训练应用的相关实验教程，例如针对图像分类应用、bert-perseus应用以及手势识别应用的教程。该教程基于 Cloud Shell提供的真实环境，您可以通过在线Web IDE（Cloud Shell内置的代码编辑器）、命令行以及步骤式的教程指引，体验并完成所需教程的学习与实验。说明
2025-06-24
浏览:1000+
部署NGC容器环境构建深度学习开发环境
NGC（NVIDIA GPU CLOUD）是NVIDIA开发的一套深度学习生态系统，方便您免费访问深度学习软件堆栈，建立适合深度学习的开发环境。本文以搭建TensorFlow深度学习框架为例，为您介绍如何在GPU实例上部署NGC环境以实现深度学习开发环境的预安装。背景信息NGC网站提供了目前主流深度学习框架不同版本的镜像，例如Caffe、Caffe2、C
2025-06-24
浏览:1000+
基于GPU实例单机部署满血版DeepSeek模型
DeepSeek-V3/R1是一个具有超过600亿参数的专家混合（MoE）模型，且已开源其模型权重。本文将介绍如何利用SGLang作为DeepSeek模型的推理框架，在一台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置，即可实现开箱即用。核心工具介绍NVIDIA GPU驱动：用来驱动NVIDIA GPU的程序，本文以Driver版本 550.127.08
2025-06-24
浏览:1000+
基于GPU实例双机分布式部署满血版Deepseek模型
DeepSeek-V3/R1是一个具有超过600亿参数的专家混合（MoE）模型，且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架，在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置，即可实现开箱即用。操作步骤步骤一：准备环境创建GPU实例并正确安装驱动。具体操作，请参见创建GPU实例。关键
2025-06-23
浏览:1000+
在GPU实例上部署DeepSeek-R1蒸馏模型
DeepSeek-V3/R1是拥有600B以上参数量的专家混合（MoE）模型，并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。背景信息估算模型所需配置模型的参数量越大，其处理数据和生成内容的复杂性也随之增加，且运行所需的计算资源也会相应增多。每个模型在计算和存储需求上存在差异，以下列出了Dee
2025-06-23
浏览:1000+
升级Tesla或GRID驱动
如果您的NVIDIA Tesla或NVIDIA GRID驱动版本已不适用于当前场景，或者您安装了错误的驱动类型或版本导致GPU实例无法使用，您可以通过卸载当前驱动再安装所需驱动的方式，完成Tesla或GRID驱动的升级操作。升级NVIDIATesla驱动升级Tesla驱动时，需要先卸载相应的Tesla驱动，然后再根据需要安装的驱动类型和操作系统，重
2025-06-23
浏览:1000+
设置清单
简介您可以通过 对象存储控制台，为您的存储桶开通清单功能。开通清单功能可以实现定期每天或每周为您的存储桶输出一份关于对象属性、配置详情等清单报告。关于清单的更多详情，请参见 清单功能概述。下面将为您详细介绍如何开通存储桶清单功能。支持定时清单和即时清单，您可按需选择。注意：用户可以在一个存储桶中配置多
2025-06-20
浏览:1000+
设置智能分层存储
简介当文件指定为智能分层存储类型进行存储，对象存储（Cloud Object Storage，COS）可以根据数据的访问模式，自动地转换数据的冷热层级，从而降低您的存储成本。智能分层存储适用于访问模式不固定或者无法预估访问模式的数据，为用户提供了与标准存储一致的低延迟和高吞吐的产品体验，但成本上则低于标准存储。用户可以按照
2025-06-20
浏览:1000+
