Statement Queue

功能测试

为避免冗长的应用业务代码修改，Statement Queue可以配合Statement Outline进行在线业务修改，方便快捷。下文使用SysBench的update_non_index测试用例进行演示。

• 测试环境

• 测试表结构

   

  CREATE TABLE `sbtest1` (
    `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
    `k` int(10) unsigned NOT NULL DEFAULT '0',
    `c` char(120) NOT NULL DEFAULT '',
    `pad` char(60) NOT NULL DEFAULT '',  PRIMARY KEY (`id`),
    KEY `k_1` (`k`)
  ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 MAX_ROWS=1000000;

• 测试语句

   

  UPDATE sbtest1 SET c='xyz' WHERE id=0;

• 测试脚本

   

  ./sysbench \--mysql-host={$ip} \--mysql-port={$port} \--mysql-db=test \--test=./sysbench/share/sysbench/update_non_index.lua \--oltp-tables-count=1 \--oltp_table_size=1 \--num-threads=128 \--mysql-user=u0

• 测试过程

1. 在线增加Statement Outline。

    

   CALL DBMS_OUTLN.add_optimizer_outline('test', '', 1, 
                                                ' /*+ ccl_queue_field(id) */ ',
                            "UPDATE sbtest1 SET c='xyz' WHERE id=0");

   返回如下：

    

   Query OK, 0 rows affected (0.01 sec)

2. 查看Statement Outline。

    

   call dbms_outln.show_outline();

   返回如下：

    

   +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+
   | ID   | SCHEMA | DIGEST                                                           | TYPE      | SCOPE | POS  | HINT                           | HIT  | OVERFLOW | DIGEST_TEXT                                 |
   +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+
   |    1 | test   | 7b945614749e541e0600753367884acff5df7e7ee2f5fb0af5ea58897910f023 | OPTIMIZER |       |    1 |  /*+ ccl_queue_field(id) */  |    0 |        0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? |
   +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+1 row in set (0.00 sec)

3. 验证Statement Outline生效。

    

   explain UPDATE sbtest1 SET c='xyz' WHERE id=0;

   返回如下：

    

   +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+| id | select_type | table   | partitions | type  | possible_keys | key     | key_len | ref   | rows | filtered | Extra       |+----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+|  1 | UPDATE      | sbtest1 | NULL       | range | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | Using where |+----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+1 row in set, 1 warning (0.00 sec)

    

   show warnings;

   返回如下：

    

   +-------+------+-----------------------------------------------------------------------------------------------------------------------------+| Level | Code | Message                                                                                                                     |+-------+------+-----------------------------------------------------------------------------------------------------------------------------+| Note  | 1003 | update /*+ ccl_queue_field(id) */ `test`.`sbtest1` set `test`.`sbtest1`.`c` = 'xyz' where (`test`.`sbtest1`.`id` = 0) |+-------+------+-----------------------------------------------------------------------------------------------------------------------------+1 row in set (0.00 sec)

4. 查询Statement Queue状态。

    

   call dbms_ccl.show_ccl_queue();

   返回如下：

    

   +------+-------+-------------------+---------+---------+----------+| ID   | TYPE  | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING |+------+-------+-------------------+---------+---------+----------+|    1 | QUEUE |                64 |       0 |       0 |        0 ||    2 | QUEUE |                64 |       0 |       0 |        0 ||    3 | QUEUE |                64 |       0 |       0 |        0 ||    4 | QUEUE |                64 |       0 |       0 |        0 |+------+-------+-------------------+---------+---------+----------+4 rows in set (0.00 sec)

5. 开启测试。

    

   sysbench \
   --mysql-host={$ip} \
   --mysql-port={$port} \
   --mysql-db=test \
   --test=./sysbench/share/sysbench/update_non_index.lua \
   --oltp-tables-count=1 \
   --oltp_table_size=1 \
   --num-threads=128 \
   --mysql-user=u0

6. 验证测试效果。

    

   call dbms_ccl.show_ccl_queue();

   返回如下：

    

   +------+-------+-------------------+---------+---------+----------+| ID   | TYPE  | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING |+------+-------+-------------------+---------+---------+----------+|    1 | QUEUE |                64 |   10996 |      63 |        4 ||    2 | QUEUE |                64 |       0 |       0 |        0 ||    3 | QUEUE |                64 |       0 |       0 |        0 ||    4 | QUEUE |                64 |       0 |       0 |        0 |+------+-------+-------------------+---------+---------+----------+4 rows in set (0.03 sec)

    

   call dbms_outln.show_outline();

   返回如下：

    

   +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+| ID   | SCHEMA | DIGEST    | TYPE      | SCOPE | POS  | HINT                           | HIT    | OVERFLOW | DIGEST_TEXT                                 |+------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+|    1 | test   | xxxxxxxxx | OPTIMIZER |       |    1 |  /*+ ccl_queue_field(id) */  | 115795 |        0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? |+------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+1 row in set (0.00 sec)

   说明

   查询结果显示Statement Outline命中了115,795次规则，Statement Queue状态显示命中了10,996次排队，当前运行并发63个，排队等待4个。

性能测试

• 测试环境

• 应用服务器：阿里云ECS实例

• RDS实例规格： 8 核16 GB 内存、ESSD云盘

• 实例类型：高可用系列（数据复制方式为异步复制）

• 测试用例

  对id=1的记录进行并发更新，使用的Sysbench的测试用例如下：

   

  pathtest = string.match(test, "(.*/)")if pathtest then
   dofile(pathtest .. "oltp_common.lua")else
   require("oltp_common")endfunction thread_init()
   drv = sysbench.sql.driver()
   con = drv:connect()endfunction event()
   local val_name
   val_name = "'sdnjkmoklvnseajinvijsfdnvkjsnfjvn".. sb_rand_uniform(1, 4096) .. "'"
   query = "UPDATE sbtest1 SET c=" .. val_name .. " WHERE id=1"
   rs = db_query(query)end

• 测试结果

  开启Statement Queue功能后，在高并发场景下QPS提升显著，并发数越高，提升越明显。

  

  说明

  未开启Statement Queue功能，在4096线程压测下实例发生主备切换，因此QPS为0。