说明:
元数据加速功能只能在创建存储桶时开启,开启后不支持关闭,请结合您的业务情况慎重考虑是否开启。
当前元数据加速功能为公测功能,请 联系我们 申请公测资格。
元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能,支持用户通过文件系统语义访问对象存储服务,系统设计指标可以达到百 GB 级别带宽、十万级 QPS 以及毫秒级延迟。
开启元数据加速的存储桶,完全兼容 HCFS(Hadoop Compatible File System,HCFS) 协议,可以采用原生的 HDFS 接口直接访问。
对比使用 Hadoop 工具 访问普通 COS 桶,使用 HDFS 协议访问时无需在工具内部将 HCFS 接口适配为 COS 的 Restful 接口,省去了协议转换开销,更能提供原生 HDFS 的一些功能,例如目录原子高效 Rename、文件 Atime、Mtime 更新、高效目录 DU 统计、Posix ACL 权限支持等原生特性。
注意:
由于元数据加速桶底层架构,推荐您使用 HDFS 协议访问元数据桶,而非对象存储 Restful 接口,以实现最优性能实践。
参考 创建存储桶 登录 对象存储控制台 创建存储桶并开启元数据加速。若您未授权 HDFS 服务角色,需要先单击立即授权进入 授权角色。同意授权后才可创建成功。
说明:
若您需频繁使用对象存储语义进行读写,不推荐开启元数据加速功能。
元数据桶部分管理功能受限,具体限制请参见 使用限制说明。
1. 找到已创建的元数据加速桶,单击存储桶名称,进入存储桶详情页。
2. 在左侧菜单栏中,选择湖存储配置 > 元数据加速能力,可以看到元数据加速能力已开启,并且看到默认的存储桶挂载点信息。如下图所示:
3. 在 HDFS 元数据权限配置栏中,单击新增权限配置,配置以下参数,完成后单击保存即可。
VPC 网络名称/ID 选择计算集群所在的 VPC 网络地址。
节点 IP 地址填写 VPC 网段下需要放通的 IP 地址或者 IP 地址段。
访问类型选择可读可写或只读。
说明:
使用 HDFS 协议访问时,元数据加速桶会先校验计算节点 IP 是否满足该配置,使用前请您确保该配置项已配置正确。
4. 根据您的需求,可在 HDFS 元数据鉴权配置中选择不鉴权、POSIX 鉴权、Ranger 鉴权三种文件系统鉴权方式。单击编辑进入修改页面。
说明:
若您需要使用 POSIX 鉴权,您可在 HDFS 用户配置中配置超级用户列表,如下图所示。
若您需要了解更多 Ranger 鉴权的说明,请参见 COS Ranger 权限体系解决方案。