部分企业级ECS实例支持配置eRDMA,可以实现在不需要修改现有网络架构的情况下,体验超低延迟、大吞吐、高弹性的高性能RDMA网络服务。
限制项 说明 地域 支持华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华南3(广州)、华北6(乌兰察布)、华南2(河源) 实例规格 支持eRDMA的实例规格如下: 镜像 Alibaba Cloud Linux 3(推荐) Alibaba Cloud Linux 2(仅x86系统支持) CentOS 7.9(仅x86系统支持) Ubuntu 18.04/20.04/22.04 Anolis OS 8.4 ANCK/8.6 ANCK(仅Arm版本支持) 说明 不同实例规格可选择的镜像范围不同,实际可选择的镜像以购买页面的实际展示为准。 eRDMA设备数量 您可以通过DescribeInstanceTypes返回参数中的EriQuantity的值,查询实例规格支持绑定ERI的最大数量(0表示不支持弹性RDMA接口)。 网络限制 网卡开启弹性RDMA接口后,不支持分配IPv6地址。 两个实例之间通过弹性RDMA通信,通信链路中间不支持跨网元设备(例如负载均衡SLB等)。 GPU实例与企业级实例中的eRDMA由于所处工作模式不同,所以GPU实例与企业级实例不能直接通信。如果需要通信,请在企业级实例中参考GPU实例部署eRDMA的方式进行部署(安装eRDMA驱动、OFED驱动,并且为实例绑定弹性RDMA网卡)。具体操作,请参见在GPU实例上配置eRDMA。 购买实例时配置eRDMA 为已有实例配置eRDMA 重要 当支持eRDMA能力的实例的操作系统为Alibaba Cloud Linux、Ubuntu和Anolis OS时,支持在创建实例时自动安装eRDMA驱动并开启弹性RDMA接口,使能eRDMA,免去手动安装的麻烦。 对于不支持安装eRDMA驱动的操作系统或自动安装失败的情况,您可以在实例创建完成后,通过脚本方式或手动方式安装驱动。具体操作,请参见为已有实例配置eRDMA。 在购买的实例启动后,eRDMA驱动安装可能需要一段时间,请您耐心等待。 创建支持ERI的企业级实例。创建过程中需注意以下配置项(其他参数,请参见自定义购买实例): 实例:请参见使用限制。 镜像:选择公共镜像。 扩展程序:选中eRDMA驱动。实例启动过程中会自动安装eRDMA驱动,无需您再手动安装。您在购买Alibaba Cloud Linux操作系统的倚天实例时,还可以选择安装性能加速类扩展程序。更多信息,请参见性能加速扩展程序。 重要 使用ECS扩展程序功能,需要拥有系统权限策略AliyunECSExtensionsFullAccess,阿里云账号默认拥有该系统权限。如果您的操作账号为RAM用户,需要联系阿里云账号授予RAM用户该系统权限。详细信息,请参见扩展程序。 实例和镜像:选择支持eRDMA的实例规格,并安装eRDMA驱动。 弹性网卡:主网卡右侧选择开启弹性RDMA接口,为ECS实例绑定ERI。 说明 购买企业级实例时,仅支持为主网卡启用弹性RDMA接口。如果您需要为辅助网卡配置eRDMA,您可以通过控制台或OpenAPI方式为辅助弹性网卡开启RDMA接口。具体操作,请参见弹性RDMA网卡(ERI)。 您可以在两台配置了eRDMA的企业级实例上,安装 准备两台配置了eRDMA(已安装eRDMA软件栈、弹性网卡开启了RDMA接口)的企业级实例,分别作为服务端和客户端。 确保网络配置正确,两台服务器之间内网互通。详细信息,请参见ECS实现内网互通。 分别远程连接两台实例。 具体操作,请参见使用Workbench工具以SSH协议登录Linux实例。 验证并保证两台实例eRDMA配置正确。 具体操作,请参见验证eRDMA配置的正确性。 在两台实例上,分别执行以下命令,安装perftest测试工具。 您可以选择开通公网通过官方仓库下载并安装,或者直接通过yum/apt源进行安装。 通过官方仓库下载并安装 通过yum/apt源安装 为ECS实例开通公网,详细信息,请参见为ECS实例开通公网。 访问perftest官方仓库下载并安装perftest工具。 测试eRDMA网络延迟是否符合预期表现。 在服务端实例上,执行以下命令,启动 在客户端实例上,执行以下命令,启动 其中, 查看测试结果。 客户端测试完成后,使用限制
为企业级实例配置eRDMA
测试实例在eRDMA的写延迟性能
perftest
后通过ib_write_lat
进行写延迟测试。关于perftest测试,请参见perftest测试集。环境准备
测试步骤
ib_write_lat
作为服务器,监听来自客户端的连接。ib_write_lat -R -a -F
ib_write_lat
,连接服务端。ib_write_lat -R -a -F <server_ip>
<server_ip>
是服务端ECS实例上绑定的eRDMA的弹性网卡所对应的私有IP地址。获取IP地址的方法,请参见查看IP地址。ib_write_lat
会输出测试配置信息、连接信息以及性能测试结果(延迟相关的统计数据,包括最小、最大、平均延迟等性能指标)。详细信息,请参见ib_write_lat测试结果说明。