在企业级实例上使用eRDMA

2024-11-26   访问量:1016

部分企业级ECS实例支持配置eRDMA,可以实现在不需要修改现有网络架构的情况下,体验超低延迟、大吞吐、高弹性的高性能RDMA网络服务。

使用限制



限制项

说明

地域

支持华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华南3(广州)、华北6(乌兰察布)、华南2(河源)

实例规格

支持eRDMA的实例规格如下:

镜像

  • Alibaba Cloud Linux 3(推荐)

  • Alibaba Cloud Linux 2(仅x86系统支持)

  • CentOS 7.9(仅x86系统支持)

  • Ubuntu 18.04/20.04/22.04

  • Anolis OS 8.4 ANCK/8.6 ANCK(仅Arm版本支持)

说明

不同实例规格可选择的镜像范围不同,实际可选择的镜像以购买页面的实际展示为准。

eRDMA设备数量

您可以通过DescribeInstanceTypes返回参数中的EriQuantity的值,查询实例规格支持绑定ERI的最大数量(0表示不支持弹性RDMA接口)。

网络限制

  • 网卡开启弹性RDMA接口后,不支持分配IPv6地址。

  • 两个实例之间通过弹性RDMA通信,通信链路中间不支持跨网元设备(例如负载均衡SLB等)。

  • GPU实例与企业级实例中的eRDMA由于所处工作模式不同,所以GPU实例与企业级实例不能直接通信。如果需要通信,请在企业级实例中参考GPU实例部署eRDMA的方式进行部署(安装eRDMA驱动、OFED驱动,并且为实例绑定弹性RDMA网卡)。具体操作,请参见在GPU实例上配置eRDMA

为企业级实例配置eRDMA

购买实例时配置eRDMA

为已有实例配置eRDMA

重要

  • 当支持eRDMA能力的实例的操作系统为Alibaba Cloud Linux、Ubuntu和Anolis OS时,支持在创建实例时自动安装eRDMA驱动并开启弹性RDMA接口,使能eRDMA,免去手动安装的麻烦。

  • 对于不支持安装eRDMA驱动的操作系统或自动安装失败的情况,您可以在实例创建完成后,通过脚本方式或手动方式安装驱动。具体操作,请参见为已有实例配置eRDMA

  • 在购买的实例启动后,eRDMA驱动安装可能需要一段时间,请您耐心等待。

  1. 前往实例购买页

  2. 创建支持ERI的企业级实例。创建过程中需注意以下配置项(其他参数,请参见自定义购买实例):

    • 实例:请参见使用限制

    • 镜像:选择公共镜像

    • 扩展程序:选中eRDMA驱动。实例启动过程中会自动安装eRDMA驱动,无需您再手动安装。您在购买Alibaba Cloud Linux操作系统的倚天实例时,还可以选择安装性能加速类扩展程序。更多信息,请参见性能加速扩展程序

      image

      重要

      使用ECS扩展程序功能,需要拥有系统权限策略AliyunECSExtensionsFullAccess,阿里云账号默认拥有该系统权限。如果您的操作账号为RAM用户,需要联系阿里云账号授予RAM用户该系统权限。详细信息,请参见扩展程序

    • 实例和镜像:选择支持eRDMA的实例规格,并安装eRDMA驱动。

    • 弹性网卡主网卡右侧选择开启弹性RDMA接口,为ECS实例绑定ERI。

      image

      说明

      购买企业级实例时,仅支持为主网卡启用弹性RDMA接口。如果您需要为辅助网卡配置eRDMA,您可以通过控制台或OpenAPI方式为辅助弹性网卡开启RDMA接口。具体操作,请参见弹性RDMA网卡(ERI)

测试实例在eRDMA的写延迟性能

您可以在两台配置了eRDMA的企业级实例上,安装perftest后通过ib_write_lat进行写延迟测试。关于perftest测试,请参见perftest测试集

ib_write_lat常用参数说明

ib_write_lat测试结果延迟数据说明

环境准备

  1. 准备两台配置了eRDMA(已安装eRDMA软件栈、弹性网卡开启了RDMA接口)的企业级实例,分别作为服务端客户端

  2. 确保网络配置正确,两台服务器之间内网互通。详细信息,请参见ECS实现内网互通

测试步骤

  1. 分别远程连接两台实例。

    具体操作,请参见使用Workbench工具以SSH协议登录Linux实例

  2. 验证并保证两台实例eRDMA配置正确。

    具体操作,请参见验证eRDMA配置的正确性

  3. 在两台实例上,分别执行以下命令,安装perftest测试工具。

    您可以选择开通公网通过官方仓库下载并安装,或者直接通过yum/apt源进行安装。

    通过官方仓库下载并安装

    通过yum/apt源安装

    1. 为ECS实例开通公网,详细信息,请参见为ECS实例开通公网

    2. 访问perftest官方仓库下载并安装perftest工具。

  4. 测试eRDMA网络延迟是否符合预期表现。

    1. 在服务端实例上,执行以下命令,启动 ib_write_lat 作为服务器,监听来自客户端的连接。

       

      ib_write_lat -R -a -F
    2. 在客户端实例上,执行以下命令,启动 ib_write_lat,连接服务端。

       

      ib_write_lat -R -a -F <server_ip>

      其中,<server_ip>是服务端ECS实例上绑定的eRDMA的弹性网卡所对应的私有IP地址。获取IP地址的方法,请参见查看IP地址

    3. 查看测试结果。

      客户端测试完成后,ib_write_lat 会输出测试配置信息连接信息以及性能测试结果(延迟相关的统计数据,包括最小、最大、平均延迟等性能指标)。详细信息,请参见ib_write_lat测试结果说明

      image


热门文章
更多>