RDS DuckDB分析实例最佳实践

选型建议

计算规格

建议选择与主实例相同或相近的CPU/内存规格，确保分析查询有足够的计算资源，避免因规格不足导致查询性能瓶颈。详细规格信息请参见DuckDB分析只读实例规格表。

存储配置

建议选择主实例存储大小的75%作为初始存储容量。DuckDB采用列式存储与向量化计算，通过列式压缩技术可显著降低存储占用，实际存储空间通常远小于行式存储。

重要

分析只读节点的存储空间必须 ≥ 主实例存储空间的50%，否则可能因空间不足导致数据同步异常。

数据同步机制

DuckDB分析只读实例采用Binlog自动同步机制，无需手动导入数据。同步流程如下：

1. 主实例写入数据时生成Binlog。

2. DuckDB只读实例自动消费Binlog。

3. 数据自动转换为列式存储格式并构建向量化索引。

同步延迟通常在秒级。您可以在RDS控制台的监控与报警页面查看同步延迟和状态。

连接方式

DuckDB分析只读实例提供以下两种连接方式：

方式一（推荐）：通过数据库代理连接

当业务同时涉及高并发事务处理（OLTP）和复杂分析查询（OLAP）时，推荐使用数据库代理实现HTAP自动行列分流。数据库代理会根据SQL查询的预估执行代价自动路由：OLAP查询路由至DuckDB分析只读实例，OLTP查询路由至主实例或普通只读实例。

前置条件：

1. 已为主实例开启通用型数据库代理（免费）。

2. 已开启HTAP行列自动分流。详情请参见HTAP自动行列分流。

重要

HTAP行列自动分流功能仅MySQL 8.0大版本主实例支持。如果您的主实例为MySQL 5.7，需要先升级至8.0。

连接示例：

## 通过数据库代理地址连接
mysql -h <主实例代理地址> -P 3306 -u <用户名> -p

## 应用程序JDBC连接字符串
jdbc:mysql://<主实例代理地址>:3306/<数据库名>?useSSL=false

方式二：直接连接只读实例

DuckDB分析只读实例拥有独立的连接地址。当只需处理分析型查询（OLAP）时，可通过该地址直接连接。

获取连接地址的操作步骤如下：

1. 登录RDS管理控制台。

2. 在实例列表中找到主实例，单击左侧下拉箭头展开只读实例列表。

3. 单击DuckDB分析只读实例的实例ID，进入实例详情页。

4. 在基本信息区域单击查看连接详情，获取内网连接地址。如需外网访问，请先申请外网地址。

## 通过只读实例独立地址连接
mysql -h <只读实例连接地址> -P 3306 -u <用户名> -p

## 应用程序JDBC连接字符串
jdbc:mysql://<只读实例连接地址>:3306/<数据库名>?useSSL=false

强制请求走主实例

在开启数据库代理后，如果需要将特定请求强制发送到主实例处理，可使用以下方式：

方式一：直接连接主实例地址

绕过数据库代理，直接使用主实例的内网或外网连接地址进行连接。适用于写操作（INSERT/UPDATE/DELETE）、事务控制和存储过程调用等场景。

## 直接连接主实例
mysql -h <主实例连接地址> -P 3306 -u <用户名> -p

方式二：使用数据库代理 + 事务封装

如果已开通数据库代理且未开启事务拆分，可以将请求封装在事务内。事务内的所有操作默认路由到主实例。适用于读写混合的业务逻辑以及需要保证读写一致性的场景。

-- 事务内的操作会路由到主实例
START TRANSACTION;
SELECT * FROM orders WHERE id = 1;
UPDATE orders SET status = 'completed' WHERE id = 1;
COMMIT;

方式三：使用Hint语法

通过在SQL语句中添加Hint注释，将单条SQL路由到主实例。适用于个别SQL需要强制走主实例的场景。

-- 使用Hint强制路由到主实例
SELECT /*+ MASTER */ * FROM orders WHERE id = 1;

重要

使用Hint语法前，建议在测试环境中验证其路由行为是否符合预期。

连接方式对比

注意事项

• DuckDB分析只读实例仅支持SELECT查询，不支持INSERT、UPDATE、DELETE等写操作。

• DuckDB支持窗口函数、复杂聚合等分析函数和语法。不兼容的SQL在开启数据库代理后会自动分流到主实例执行。详情请参见DuckDB分析实例兼容性说明。

• 建议根据业务读写类型选择合适的连接方式：读写混合使用数据库代理（自动分流），纯分析使用只读实例地址，写操作使用主实例地址。

规格与权益

免费试用规格

阿里云为企业用户和个人用户提供DuckDB分析主实例的免费试用权益：

试用入口：

• 企业用户：包年包月试用 | 按量付费试用

• 个人用户：免费试用中心

灵活升降配

DuckDB分析主实例支持灵活变更配置，包括升级/降级CPU和内存规格、扩大存储空间、变更存储类型（高性能云盘 ↔ ESSD云盘）。详情请参见变更DuckDB分析主实例配置。

重要

升降配过程中实例会短暂重启，建议在业务低峰期操作。存储空间仅支持扩容，不支持缩容。

DTS数据迁移（5条免费链路）

每个阿里云账号享有5条免费DTS迁移链路，免费额度长期有效，适用于小规模数据迁移场景，超出免费额度后按量付费。DTS支持从多种源库迁移数据到DuckDB分析主实例，并支持结构迁移、全量迁移和增量迁移。

支持的源库类型：

• MySQL（自建MySQL、RDS MySQL、其他云MySQL）

• PostgreSQL

• Oracle

• SQL Server

• MongoDB

• Redis

数据导入

DuckDB分析主实例支持以下四种数据导入方式，您可以根据数据源类型和业务需求选择合适的方案：

方式一（推荐）：使用DTS迁移

前置条件：

• 已创建DuckDB分析主实例。详情请参见创建并连接DuckDB分析主实例。

• 源库可被DTS访问（公网/内网/专线）。

• 源库账号具有REPLICATION CLIENT和REPLICATION SLAVE权限。

操作步骤：

1. 登录DTS控制台，单击创建同步任务。

2. 配置源库和目标库连接信息。源库选择关系型数据库标签页下的对应数据库类型，目标库选择数据仓库标签页下的DuckDB类型。

3. 选择迁移类型（结构迁移 + 全量迁移 + 增量迁移）和迁移对象（库/表级别）。

4. 完成预检查并启动迁移任务，等待迁移完成。

详细操作请参见同步MySQL实例数据至DuckDB分析主实例。

方式二：使用mysqldump导入

适用于小规模数据导入。操作步骤如下：

## 步骤1：从源库导出数据
mysqldump -h <源库地址> -u <用户名> -p --single-transaction \
  --set-gtid-purged=OFF <数据库名> > backup.sql

## 步骤2：导入到DuckDB分析主实例
mysql -h <DuckDB实例地址> -P 3306 -u <用户名> -p <数据库名> < backup.sql

重要

使用--single-transaction参数可避免导出期间锁表影响在线业务。使用--set-gtid-purged=OFF可避免GTID冲突。大表建议分表导出，避免单个文件过大。

连接与安全

获取连接地址

DuckDB分析主实例提供内网地址（同地域ECS等服务免流量访问）和外网地址（需申请开通）。您可以在RDS控制台的实例详情页基本信息区域获取连接地址。

连接示例

## MySQL客户端连接
mysql -h <实例连接地址> -P 3306 -u <数据库账号> -p

## Python连接示例
import pymysql
conn = pymysql.connect(
    host='<实例连接地址>',
    port=3306,
    user='<数据库账号>',
    password='<数据库密码>',
    database='<数据库名>',
    charset='utf8mb4'
)

白名单配置

DuckDB分析主实例默认白名单为127.0.0.1（禁止外部访问），您需要添加允许访问的IP地址或IP段后才能正常连接。

操作步骤：

1. 在实例详情页，单击左侧导航栏的数据安全性 > 白名单设置。

2. 单击修改，添加允许访问的IP地址或IP段。

3. 单击确定，配置立即生效。

重要

生产环境建议使用VPC内网访问，不开放外网。白名单使用精确IP地址，避免设置为0.0.0.0/0。请定期审计白名单，移除不再需要的IP。

性能测试

整体全量测试

选取10张以上代表性业务表，执行全表扫描和聚合查询，对比主实例（InnoDB）和DuckDB实例的执行时间。

-- 全表聚合查询
SELECT COUNT(*), SUM(amount), AVG(price) FROM orders;

-- 多表JOIN查询
SELECT o.order_id, u.user_name, p.product_name
FROM orders o
JOIN users u ON o.user_id = u.id
JOIN products p ON o.product_id = p.id
WHERE o.create_time >= '2026-01-01';

预期性能提升参考：

指定SQL测试

收集生产环境中20~50条慢查询SQL，在DuckDB实例上逐一执行并记录执行时间，与主实例对比性能差异。建议按以下格式记录测试结果：

查询结果验证

对比主实例和DuckDB实例的查询结果，确保数据一致性（行数和字段值完全一致）。

-- 行数对比
SELECT COUNT(*) FROM table_name;

-- 抽样数据对比
SELECT * FROM table_name ORDER BY id LIMIT 100;

-- 聚合结果对比
SELECT SUM(amount), AVG(price), MAX(create_time) FROM orders;

兼容性测试

验证业务SQL在DuckDB实例上的兼容性，测试范围包括：

• 基础SQL语法（SELECT/WHERE/GROUP BY/ORDER BY等）

• 聚合函数（COUNT/SUM/AVG/MAX/MIN等）

• 窗口函数（ROW_NUMBER/RANK/LEAD/LAG等）

• 字符串函数、日期函数

• 子查询、CTE和多表JOIN

以下为已知不兼容场景：

• 写操作（INSERT/UPDATE/DELETE）

• 事务操作（BEGIN/COMMIT/ROLLBACK）

• 部分MySQL特有函数、存储过程和触发器

完整的兼容性信息请参见DuckDB分析实例兼容性说明。

自动分流测试

重要

DuckDB不兼容的SQL（如INSERT/UPDATE/DELETE），通过数据库代理的自动分流机制，会自动转发到InnoDB主实例上执行。

验证自动分流机制的操作步骤：

1. 通过数据库代理地址连接实例，执行DuckDB不支持的SQL（如INSERT语句）。

2. 观察请求是否自动路由到主实例，并确认执行结果正确。

3. 在RDS控制台监控与报警页面查看分流次数指标。

-- 写操作（预期分流到InnoDB）
INSERT INTO test_table VALUES (1, 'test');
UPDATE orders SET status = 'completed' WHERE id = 1;
DELETE FROM temp_data WHERE create_time < '2026-01-01';

-- 读操作（预期在DuckDB执行）
SELECT * FROM orders WHERE id = 1;
SELECT COUNT(*) FROM users;

验证方法：

1. 查看实例监控中的分流次数指标。

2. 检查慢查询日志中的SQL路由记录。

3. 确认写操作在主实例成功执行。

压缩率测试

通过RDS控制台监控与报警 > 存储空间查看DuckDB列式存储的压缩效果。

监控指标：

• 原始数据大小（主实例）

• 压缩后数据大小（DuckDB实例）

• 压缩率 =（1 - 压缩后大小 / 原始大小）× 100%

测试步骤：

1. 查看主实例的表存储空间。

2. 查看DuckDB实例的表存储空间。

3. 计算压缩率。

4. 记录不同数据类型的压缩效果。

压缩率参考值：

您也可以在主实例上通过以下SQL查看表的存储空间，与DuckDB实例的存储监控数据进行对比：

-- 查看主实例表存储空间
SELECT table_name,
       ROUND(data_length / 1024 / 1024, 2) AS data_mb,
       ROUND(index_length / 1024 / 1024, 2) AS index_mb
FROM information_schema.tables
WHERE table_schema = '<数据库名>';

-- 查看DuckDB存储空间（通过RDS控制台）
-- RDS控制台 → 监控与报警 → 存储空间

主从延迟监控

对于DuckDB分析只读实例，需要关注主实例与只读实例之间的数据同步延迟。您可以在RDS控制台监控与报警页面查看同步延迟指标。

监控指标：

• 同步延迟（秒）

• Binlog消费速率

• 未同步的Binlog数量

延迟阈值参考：

优化延迟的建议：

• 确保主实例与只读实例之间的网络带宽充足。

• 避免主实例出现突发大量写入。

• 合理设置DuckDB只读实例的计算和存储规格。